labview小车程序：避障+循迹+超声测距避障模块

Jsteg是一种基于JPEG的常用信息隐藏算法步骤如下: 首先，把掩体图像分为不重叠的8*8的子块，对每一子块进行DCT并对变换得到的DCT系数进行量化;其次，将待隐藏的信息进行加密，将加密结果嵌入到量化后值不为0，1或-1的DCT系数的最 低有效位(LSB)中，其嵌入顺序是按zigzag扫描顺序进行的。最后，用JPEG的嫡编码(包括哈夫曼编码，游程编码及DPCM)对嵌入秘密信息后的每一子块进行编码，从而得到一个含有秘密信息的JPEG stego文件。

4pcs 非球面 参数齐全 可以设计参考之用

【实例简介】 64QAM调制原理   （1）基于  DVB-C的有线数字电视 基于DVB-C的有线数字电视采用了频分（8MHz与8MHz之间）与时分（8MHz之内）复用相结合的方法在一个物理频道上可传输6~8套标准清晰度（码率4Mb/s对应40多万像素）电视节目或2套高清晰度（码率18Mb/s对应200多万像素）电视节目。具有图形质量好，可达到DVD的图象质量。传输节目的套数多（可上百套），而且还可像手机一样移动接收且无重影。同时有线数字电视信号的抗干扰能力也模拟电视信号强（源于信道编码），此外有线数字电视还具有模拟电视无法比拟的条件接收（可从技术手段上彻底解决收费与非法偷接信号的问题）和电子节目指南（EPG）等一系列优点。由于有线数字电视系统远比模拟电视系统复杂，其关键技术也比模拟电视好，主要体现：信源编/解码、信道编/解码、传输复用、64QAM正交幅度调制、条件接收（CA）系统、中间件技术和大屏幕显示技术等。我们知道模拟电视的三大技术指标是C/N、CTB和CSO，而有线数字电视系统的主要技术指标除了这3项之外还有：采样频率、量化比特率、数码率（数码率=采样频率*量化比特率）、误码率、相位抖动和调制误差率（MER）等。需要说明的是模拟电视与数字电视的载噪比（C/N）的定义不同：对模拟电视而言C/N的定义是图象载波电平的有效值与规定噪声带宽（5.75MHz）的噪声电平的均方根值之比。而数字电视的C/N的定义却是己调制信号的平均功率与规定噪声带宽（6.95MHz）内的噪声的平均功率之比。   （2）常用的数字调制方式 所谓数字调制是指用数字的基带信号对正弦载波信号的某些参数（幅度、频率和相位）进行控制，使之其随基带信号的变化而变化。数字调制有幅移键控（ASK）、频移键控（FSK）和相移键控（PSK）三种基础形式。当然也可由这三种基本形式组合成联合键控，例如mQAM调制就是幅度和相位的联合键控。此外，还有编码正交频分复用（COFDM），X进制残留边带调制（美国数字电视使用，其中8VSB相当于相当于64QAM，16VSB相当于相当于256QAM）等。数字调制与模拟调制从本质上讲没有什么区别，只不过模拟调制（以调幅为例）对载波的调制是连续的（信号本身就是连续的），同时在收端对载波信号的调制参量的幅度也是连续地估值。而数字调制则对载波的调制不是连续地估计。而数字调制则对载波的调制不是连续的，仅是若干个离散的值,在收端只对载波信号的离散调制参量的幅度进行检测。   衡量数据信号的载波调制有两个重要的指标,一是频带利用率(调制效率,单位频带内所能传输的比特数)；二是功率利用率(在满足误码率的条件下所需功率越小,功率利用率越高)。我们知道数字通信系统的研究的目标是在最小的信道带宽内,以最低的差错率和最低的信号功率来传输最大的数据量。由于图象信号压缩编码后的码率仍是4M/s(标清)，为了在有限的带宽内传输更多的消息量，通常既要求调制效率较高，同时也要求功率利用率较高，而mQAM因其是抑制了载波的调制，具有较高的功率利用率,刚好满足这一点。因此，基于DVB-C有线数字电视采用mQAM调制方式，64QAM b/s是高效的二维调制，理论上调制效率可达6b/s，但考虑滚降和信道编码后实际调制效率为4.75b/s。 （3） 64QAM调制     我们知道单独使用幅度或相位携带信息时，不能充分利用信号平面，这可从星座图上直观地看到，对mASM调制而言，星座点分布在一条轴线上，mPSM调制的星座点分布在圆周上，同时伴随着m的增大其星座点的距离也跟着减小，造成抗干扰能力的下降。为解决这一问题mQAM调制应运而生，它是一种二维调制，同时具备较高的调制效率和较好的功率利用率。mQAM调制可充分利用信号平面，星座点的分布呈块状。 mQAM调制既可以用无线信道，也可以用有线信道。由于有线数字信道以HFC网络为传输媒介，信道的条件较好，m的数值可选的稍大一些。一般而言m的数值选择要兼顾调制效率和信道条件这两方面因素，故基于DVB-C的有线数字电视选用64QAM调制。 64QAM调制是基于DVB-C的有线数字电视的核心技术，所谓QAM是用两个独立的基带信号对两个相互正交的同频载波进行抑制载波的双边带调制。在mQAM中m叫状态数，通常取值为16、32、64、128和256，状态越低（意味着星座点之间的空间距离远）抗干扰能力强，但调制效率较低（携带的消息量少），反之状态数越大（意味着星座点之间的空间距离近）抗干扰能力弱，但调制效率较高（携带的消息量大，同时要求信道质量也越高，即要求优质的光缆电缆和各种有源无源器件直至优质的施工质量）。有线数字电视DVB-C标准中规定使用的是64QAM，需要特别注意的是64QAM的名称虽为正交幅度调制，但实际上却是所谓的振幅-相位联合键控，这是一个有线数字电视中非常重要的概念，正因为QAM相位调制（依靠不同的相位携带不同的消息），才导致了有线数字电视对HFC传输网络质量的要求高于模拟电视。64QAM中的64个状态（星座点）上的每个星座点的解调要靠幅度和相位共同决定，64QAM中采用的是8进制（或8电平，提高效率），每个星座点由6比特（6位二进制组成，从000000~111111），所有的信息（视频码流、音频码流、和辅助数据码流）都在每一个星座点中的6比特中。 （3.1）64QAM调制的原理 所谓mQAM是用两个独立的基带信号对两个相互正交的同频载波进行抑制载波的双边带载波。设ml(t)和mQ(t)是两个独立的基带信号，cosωct和sinωct是相互正交的载波，则发送端形成的正交振幅调制信号为：     e0(t)=mI(t) cosωct mQ(t) sinωct 其中：cosωct为同相信号或I信号，sinωct是正交信号或Q信号。以64QAM为例，经2~8电平转换后可得到-1、-3、-5、-7、 1、 3、 5和 7共8个电平，则调制器I（正交）输出的8个信号为 7sinωct、 5sinωct、 3sinωct、 1sinωct、-1sinωct、-3sinωct、-5sinωct、-7sinωct；调制器Ⅱ（同相）输出的8个信号为： 7cosωct、 5cosωct、 3cosωct、 1cosωct、-1cosωct、-3cosωct、-5cosωct和-7cosωct。两路己调信号相加共有64个不同的组合，这样便形成64QAM的星座图。图Ⅰ为mQAM调制原理示意图。 由64QAM调制原理知其调制流程如下： （1）                                  输入多路复用的TS（系统复用器完成，一般而言一台复用器对应一台64QAM调制器），首先进行串并变换，即将一路串行码流变成二路并行码流，速率减半，码流为二进制； （2）                                  扰码频谱扩散（扰码是为了避免DVB-C数据帧结构中的长连“1”或长连“0”的出现，以便在接收端恢复时钟信号。MPEG-2传输复用包经过扰码处理后，其“1”或“0”在时间上变得均匀分布，此外扰码频谱扩散还能保证星座图中各点的能量密度一致）； （3）                                  信道编码（外码，码型为RS，纠错FEC，为对付突发干扰引入外交织，内交织在188字节中进行，外交织包含RS编码在204字节中进行）； （4）                                  字节映射成符号，即完成电平变换或称为进制变换（2电平变为8电平或2进制变为8进制，首先进行比特到符号的转换，如64QAM是将8比特数据转换成6比特为一组的符号）； （5）                                  Nyquist滤波信号成型（即基带成形，在64QAM调制之前对I、Q信号进行升余弦平方根滚降滤波）； （6）                                  多电平正交幅度调制64QAM产生中频信号，先由振荡器产生同相的载波，然后经移相90度后产生正交的载波，同时调制完成后将抑制载波，因为载波不携带任何信号； （7）                                  并串变换，既将二路并行码流变成一路串行码流，速率增加一倍，码流已不是二进制，而是变为8进制的符号； （8）                                  上变频形成RF信号输出。    这里的幅移键控本质上是一个乘法器，它将数据脉冲信号与正弦载波信号相乘，输出为已调信号。换言之，幅移键控即数字脉冲为1时，对应已调波有输出1信号，反之当幅移键控的数字脉冲为0时，对应已调波信号输出0信号。可见幅移键控实际上是将基带信号的频谱在频率轴上进行搬移。    64QAM调制器共有44种不同的相位，64种不同幅度，星座图中64个状态（000000~111111）中每一个状态的幅度和相位都是一一对应的关系，但由于存在着一些相位相同的星座点，这些点的判决由不同幅度和相同的相位共同决定，其他判决点由不同幅度和不同相位共同决定。     盲均衡（时域均衡）即指不需要训练信号，仅利用接收信号本身的先验信息便可均衡信道特性，使均衡器的输出信号尽量接近发送信号。 mQAM调制器的振荡器有传统的模拟振荡器和现代的数字振荡器之分，进口mQAM调制器一般为数字振荡器，其性能远优于模拟振荡器。基于数字振荡器的mQAM具有完美的正交调制、没有幅度不平衡、载波完全抑制和非线性失真等优点。 mQAM在调制时产生两个边带信号和一个载波分量，但载波分量不携带任何信息，不能有效的利用功率，因此在调制的输出信号中将载波抑制掉。在机顶盒的解调中采用相干解调，相干解调的关键技术是相干信号的提取，即载波的提取。相干载波需从抑制载波的已调信号本身中恢复出参考载波，通常采取非线性处理和滤波提取。经过非线性处理可以让不含载频的信号产生载频，然后再滤波提取，一般情况下，载波提取和解调是在同一个环内同时完成的，主要有平方环和考斯塔斯环（Costas）两种。然后机顶盒中恢复出的载波要与64QAM调制器产生的载波同频同相，这叫载波同步。此外数字系统中还有位同步（码元同步或比特同步）、帧同步和网同步等。 （3.2）64QAM调制的主要技术指标 64QAM调制器是数字调制器，其主要技术指标也较模拟的中频调制器多，mQAM调制器规定数字频道的载频安排在每个物理频道8MHz的中央位置，各频道的频率范围与模拟电视一致，也分捷变频和固定频道两种形式。下面以科学亚特兰大SA公司的主流品种QUASAR MKII（1U高度标准19英寸安装尺寸）mQAM调制器为例简介其主要技术指标和含义。 （1）                                       接口指标  接头：BNC，75Ω              ASI输入（标准配置）  类型：异步串行接口  包格式：自动检测：188/204包  码率：1~215Mb/s（最小1 Mb/s净荷） （2）                                       RF输出 接头：F头，BNC或75Ω，50/70Ω 频率：50～870MHz  带宽：1~8MHz可选  电平；50~60dBmV  回波损耗：≥15dB  BDR：≥9×10-9  SNR：≥50dB  RF测试口电平：-20 dB （3）                                       信号指标  信道编码；纠错方式FEC、RS编码和外交织  交织深度：I=12  MER（均衡后）≥40 dB（射频） 包格式：自动检测：188/204字节包  QAM星座：16、32、64、128、256QAM  支持的输入码率：高达215 Mb/s  符号率：1~7Mbaud  PID过滤功能：可选 （4）                                       网络接口  接口类型：RJ45  接口速率：10Base-T  支持协议：HTTP、SNMP （5）                                       选件     DS-3电信输入接口     64QAM调制器中最重要的一个技术指标是调制误差率（MER）。调制误差率国标的定义是理想矢量的幅度的平方与误差矢量幅度平方之比。显然调制误差率与反射损耗一样越大越好，国标规定64QAM的MER要大于32dB，256QAM的MER要大于30dB，图2为调制误差率示意图。         图2    调制误差率MER示意图 64QAM调制器还有一个信道指标有效载荷，数值为38Mb/s（不含RS编码），通常节目只能用到36Mb/s，还要留一部分码流传输EPG等辅助数据。它的含义是8MHz带宽内传输的码流不能大于此值（比如传10多套标清或3套高清电视节目），否则就会发生码流溢出的现象，从而导致马赛克或黑屏出现，就像GE中发生拥塞会降低传输速率或丢包一样。依标清电视码率4Mb/s和高电视码率18Mb/s，一台64QAM调制器可传8套标清或2套高清电视节目（还要为辅助数据如EPG等留下部分码流）。 选件DS3输入接口（北美标准三次群速率为45Mb/s）的功能很有使用价值，因为当今的广电网络并不是一个孤立的网络，大都通过SDH联网。上接省干SDH网络，下连各县SDH网络，可以说起到承上启下的作用。因此，从省网下传的信号和下连各县的信号都是走DS3通道，有了这个输入接口则SDH网络来的信号可以直接进入mQAM调制器，非常方便。相反若没有这个接口则还要使用网络适配器进行信号格式转换，即不方便也不经济。 （3.3）  64QAM调制和HFC网络的关系 基于DVB-C的有线数字电视前端平台中的设备和HFC网络联系最紧密的莫过于64QAM调制器了，其它前端设备如MPEG—2编码器和系统复用器等与HFC网络关联度不大，不像64QAM调制器那样对HFC网络的影响是直接和显著的。因此，从这个意义上讲64QAM对HFC网络有着举足轻重的作用。这样因为64QAM除了完成正交幅度调制外，还要完成信道的编码等功能。因为在实际运用中解码器（机顶盒）处要求MER大于30 dB，调制误差率反映了整个系统中信号所有类型的损伤和劣化。因此，调制误差率可以看成接收信号的品质因数，即数字信号能被正确还原的概率。可以这样理解调制误差率几乎相当于信噪比（S/N）的技术指标。显然调制误差率（MER）越高越好，这一点由调制误差率的定义不难看出。国标64QAM的MER要求大于32dB，好的可以大于43 dB，高于国标10 dB。显然，调制误差率是64QAM调制器中最重要的一个技术指标，这一点就像HFC网络中射频放大器的非线性失真指标一样重要。调制误差率（MER）高意味着对HFC网络的质量要求可以较低，即容许放大器串联的级数可以稍多，容许网络中有一些反射、接触不良和同轴电缆的质量可以稍差一点等等。反之若调制误差率（MER）指标越低，意味着对HFC网络的质量要求较高，即容许放大器串联的级数少，同时对HFC网络中存在反射、接触不良和同轴电缆的质量等提出了更高的要求（实际情况表明，这一点往往是不容易达到的）。由此可见调制误差率（MER）也是区分QAM调制器档次高低的关键技术指标。

用matlab做的变调不变速语言处理程序源码

【实例简介】讲述逆变的基本原理，包括工频高频和并网等内容！ 1 目录 一、概述........................................................................................................................................................ 3 1、逆变器的定义.................................................................................................................................. 3 2、逆变技术的发展趋势....................................................................................................................... 4 3、逆变器的主要技术指标................................................................................................................... 5 二、单相电压源逆变器................................................................................................................................ 5 1、推挽式逆变电路............................................................................................................................... 6 2、半桥式逆变电路............................................................................................................................... 7 3、单相全桥逆变电路........................................................................................................................... 8 3．1 移相调压法............................................................................................................................ 9 3．2 脉宽调节法......................................................................................................................... 10 4、单相方波逆变器的输出波形分析................................................................................................. 11 5、单相全桥正弦波逆变技术............................................................................................................. 13 5．1 单极性正弦波脉宽调制方式.............................................................................................. 13 5．2 双极性正弦波脉宽调制方式............................................................................................. 16 6、实用电路...........................................................................................................

用友审易数据采集转换工具V5.5(2/2)，非常好用的审计数据采集工具，能自动搜索采集市面上90%以上的财务软件。为审计取数提供帮助。

FAST算法原理：若某像素与其周围邻域内足够多的像素点相差较大，则该点可能是角点。用FAST算法检测角点，代替差分高斯金字塔取极值检测角点的方法，速度块；接着用SIFT特征描述符描述角点，省略尺度空间值，只用原图像中角点邻域的梯度值和方向计算角点主方向，接着计算32个方向向量来描述角点。之和可用于特征点匹配。

【实例简介】

使用拍拍贷数据，建模全过程，从数据预处理开始到最后的模型比较。仅用于交流学习。队伍介绍队名“不得仰视本王”,队伍由五个小伙伴组成,我们是在一个类以的比赛(微额借款用户人品预测大赛)认识的,对数据挖掘竹热爱让我们走到了一起,以下是成员简介:姓名学校、学历比赛经历匚陈靖」中国科学技术大学研二天泡科学家总分第三,微额借贷用户人品预测大赛季军朱治亮浙江大学研二淘宝穿衣搭配比赛李军,微额借贷用户人品预测大赛李军质耀重庆邮电大学研二微额借贷用户人品预测大赛冠军匚赵蕊」重庆邮电大学研微额借贷用户人品预测大赛亚军黄伟鹏北京大学研一微额借贷用户人品预测大赛冠军解决方案概述2.1项目介绍与问题分析拍拍贷“魔镜风控系统”从平均400个数据维度评估厍户当前的信用状态,给每个告款人打出当前状态的信用分,在此基础上再结合新发标的信息,打出对于每个标约6个月内逾期率的预沨,为没资人提供关键的决策依据。本次竞赛目标是根据用户历史行为数据来颈测用户在六来6个月内是否会逾期还款的概率。问题转换成2分类问题,评估指标为AUC,从 Master, LogInfo, Update Info表中构建恃征,考虑评估指标为AUC,其本质是排序优化问题,所以我们在模型顶层融合也使用基于排序优化的 RANK AVG融合方法。2.2项目总体思路本文首先从数据清洗开始,介绍我们对缺失值的多维度处、对离群点的剔除方法以及对字符、空格等的处理;其次进行特征工程,包括对地理位置信息的特征构建、成交玉间特征、类别特征编码、组合特征构建、 Lpdatelnfo和 Log Info表的特征提取等;再次进行特征选择,我们采用了 boost, boost的训练过栏即对特征重要性的排序过程;然后处理类别的不平衡度,由于赛题数据出现了类不平衡的情况,我们采用了代价敏感学习和过采样两和方法,重点介绍我们所使用的过采样方法;最后一部分是模型设计与分析,我们采用了二业界广泛应用的逻辑回归模型、数据挖掘比赛大杀器 ghost.,创新性地揆索了large- scale sⅧm的方法在本赛题二的应用,玟得了不错的效果,此外还介绍了模型融合方、数据清洗3.1缺失值的多维度处理在征信领域,用户信总的完善程度可能会影响该层户的信用评级。一个信息完苦程度为100%的户比起完善程度为50%的用户,会更加容易官核通过并得到借款。从这一点亡发,我们对缺失值进行了多维度的分析和处理按列(属性)统计缺失值个数,进一步得到各列的缺失比率,下图(图1)显示了含有缺失值的属性和相应的缺失比率sing rate of Attributes图1.属性缺失比枣WeblogInfo_1和 WeblogInfo3的缺失值比率为97%,这两列属性基本不携带有用的信息,直接剔除。 Uscr Info_11、 Userinfo_12和 Uscr info_13的缺失值比率为63%,这三列属性是类别型的,可以将缺失值用-1垣充,相当于“是否缺失”当成另一种类别。其他缺失值比卒较小的数值型属性用中值填充按行统计每个样本的属性缺矢值个数,将缺失值个数从小到大排序,以序号为横坐标,缺失值个数为纵坐标,画出如下散点图(图2)test set16016014014C12012Cw9mczE100400060008000Order Numbe(sort ircreasinglyOrde Nt mber(sort increasing ly)图2.样本属性缺失个数对比 trainset和 testset上的样本的属性缺失值个数,可以发现其分有基本一致,但是trainset上出了几个缺失值个数特别多的样本(红框区域内),这几个样本可以认为是离群点,将其剔除另外,缺矢值个数可以作为一个特征,衡量用户信息的完善程度。3.2剔除常变量原始数据宁有190维数值型特征,通过计算每个数值型特征的标准差,剔除部分变亿很小的特征,下表(表1)列出的15个特征是标准差接近于0的,我们剔了这15维特征表1.剔除数值特征标准差属性标准差属性标准差属忾标准差Webloglnfo_10 0.0707 WeblogInfo_41 0.0212 Webloglnfo_490.0071Webloglnfo_23.0939 WeblogInfo_43 0.0372 Webloglnfo_5200512Webloglnfo_31.0828 Webloglnfo_44.0166 Webloglnfo_5400946Webloglnfo_32 0.0834 Webloglnfo_46.0290 WeblogInfo_5500331Webloglnfo_40.0666 Webloglnfo_47 0.0401 WeblogInfo_58006093.3高群点剔除在样本空间中与其他样本点的一般行为或特征不一致的点称为离群点,考虑到离群点的异常特征可能是多维度的组合,我们通过分析样本属性的缺矢值个数,剔除了极少量的离群点(见3.1节)此外,我们还采用了另外一种简单有效的方法:在原始数捶上训练ⅹ gboost,用得到的xgb模型输出特征的重要性,取最重要的前20个特征(如图3所示),统计每个栏本在这20个特征上的缺失值个数,将缺矢值个数大于10的样本作为离群点。ThrciParty Ifn PeriodIntrAparty nto HerodThrcPorty hfo Penod3ardiParty hfo Period?ThirdParty Info Penod图3.Xgb特征重要性通过这个方法,易除了400多个样水。这些样在重要特征上的取值是缺失的,会使得模型学习变得因难,从这个角度妖说,它们可以看成是离群点,应剔除掉。3.4其他处理(1)字符大小写转换Userupdate Info表宁的 Userupdate Info1字段,属性取值为英文字符,包含了大小写,如Q"和”qQ",很玥显是同一和取值,我们将所有字符统一转换为小写(2)空格符处理Mastor表中 UserInfo9字段的取值包含了空格字符,如“中国移动”和“中国移动”它们是同一种取值,需要将空格符去除。(3)城市名处理Userinfo_8包含有“重庆”、“重庆市”等取僬,它们实际上是同一个城市,需要把字符中的“市”全部去掉。去掉“市”之后,城市数由600多下降到400多。四、特征工程4.1地理位置的处理对地理位置信(类别型变量)最简单的处理方式是独热编码(one- hot encoding),但是这样会得到很高维的稀疏特征,影响糢型的学习,我们在独热编码旳基础上,做了特征选择。下面介绍具体的方法。赛题数据提供了用户的地挛位置信息,包括7个字段: Userinfo2、 Userinfo4、UserInfo7、 UserInfo8、 UserInfo I9、 UserInfo20,其中 UserInfo_7和 UserInfo19是省份信息,其余为城市信息。我们统计了每个省份和城市的违约率,下图以 Userinfo_7为例图1.省分违约率可视化图5可视化了每个省份的违约率,颜色越深代表违约率越大,其中违约率最大的几个省份或直辖市为四川、湖南、湖北、吉林、天津、山东,如下图所示:图5.违约深突出省份可视化因此我们可以构建6个二值特征:“是否为四川省”、“是否为湖南省”...“是否为山东省”,其取值为或1。其实这相当于对地理位置信息做了独热编码,然后保留其中有判别性的菜些列。这里 UserInfo_7何含32和取值,编码后可以得到32维的稀疏特征,而我们只保留其宇的6维以上我们是通过人工的分析方法去构延二值特征,在处理省份信息时还是匕较直观的,但是处理城市信息,比如 Userinfo2,包含了33个减市,就没有那么直观了。为了得到有判别性的二值特征,我们首先对 Userinfo2进行独热编码,得到333维的二值特征,然后在这333维稀疏特征上训练ⅹgb模型,再根据xgb输出的特征重要性刷选二值痔征,以下是选取到的部分二值特征(对应的城市):“淮纺市”、“九江市”、“三门峡市”、“汕头市”、“长春市”、“铁岭市”、“济菊市”、“成都市”、“淄博市”、“牡丹江市”。按城市等级合并类别型特征取值个数太多时,独热编码后得到太高维的稀疏特征,除了采用上面提到的特征选择方法外,我们还使用了合并变量的方法。按照城市等级,将类别变量合并,例如线城市北京、上海、广州、深圳合并,赋值为1,同样地,二线城市合并为2,三线城市合并为3>经纬度特征的引入以上对地理位置信息的处理,都是基于类别型的,我们另外收集了各个城市的经纬度,将城市名用经纬度替换,这样就可以将类别型的变量转化为数值型的变量,比如北京市,用经纬度(39.92,116.46)替换,得到北纬和东经两个数值型特征。加入经纬度后,线下的cross validation有千分位的提升。城市特征向量化我们将城可特征里的城市计数,并取Log,然后等值离散化到610个区间内。以下图为例,将 serino2这个特征里面的325个城市离散为一个6维向量。向量“100000”表示该城位于第一个区间。线下的 cross validation有千分位的提升。Loglui2 num)6.城市特征离散化地理位置差异特征如图8所示,1,2,1,6列郗是城市。那么我们构建一个城市差异的特征,比妇diff_12表示1,2列的城市是否相同。如此构建 diff l2,diff_14,diff_l6,diff_24,diff26,diff46这6个城市差异的特征。线下的 cross validation有千分位的提升。⊥aJse⊥nfa2 userinfo4 Userinfo7 Userinfo8 Userinfo19uer⊥nf。201C013郴州1C020惠州1C033零1c035深圳东东东东建东福建省10038济104连云港远言港带1C042德州1c043青岛聊拔东自聊城市46深圳汕广东广东省汕尾市105所多工新乡图7.地理位置差异样例4.2成交时间特征按日统计训练集中每天借贷的成交量,正负样本分别统计,得到如下的曲线图8,横坐标是日期(20131101至20141109),纵坐标是每天的借贷量。蓝色由线是违约的样本每天的数量(为了对比明显,将数量乘上了2),绿色曲线对应不违约的样本train set1200count o10008004002广外从20030350Date20131101~20141109图8.每日借贷量统计可以发现拍拍贷的业务量总体是在埤长的,而违约数量一开始也是缓慢增长,后面基本保持不变,总体上违约率是平稳甚至下降的。在横坐标300~350对应的日期区间,出现了些借贷量非鸴大的时间苄点,这些可能隐减着苿些信息,我们尚未挖掘出来。考虑到违约率跟时间线有关,我们将戒交时间的字段 Listinginfc傲了几种处理,一和是直接将其当做连续值特征,也就是上图对应的横坐标,另一和是离散化夂理,每10天作为一个区间,乜就是将日期0`10离散化为1,日期1120离散化为2.4.3类别特征的处理除了上面提到的对菜些类别特征进行特殊处理外,其他类别特征都做独热编码。44组合特征Xgboost的训练完成后可以输出特征的重要性,我们发现第三方数据特征ThirdParty Info Period XX”的 feature score比较大(见图3),即判别性比较高,于是用这部分特征构建了ξ合特征:将特征两两相除得到7000个特征,然后使用 boost对这7000多个特征单独训练模型,训练完成后得到特征重要性的排序,取其中top500个特征线下cv能达到0.73+的AUC值。将这500个特征添加到原始特征体系中,线下cv的AC值从0.777捉高到0.7833。另外,也组合了乘法特征(取对数):10g(x*y),刷选出其中的270多维,加入到原始特征休系中,单模型cv又提高到、0.785左右。4.5 Upadte Info表特征根据提供的修改信息表,我们从中抽取了用户的修改信息特征,比如:修改信息次数,修改信息时间到成交时间的跨度,每和信息的修改次数等等特征。46 LogInfo表特征类似地,我们从登录信息表里提取了用户的登录信息特征,比如登录天数,平均登录间隔以及每种操作代码的次数等47排序特征对原始特征中190维数值型特征接数值从小到大进行排序,得到190维排序特征。排序特征对异常数据有更强的鲁棒性,使得模型更加稳定,降低过拟合的风险。五、特征选择在特征工程部分,我们构建了一系列位置信息相关的特征、组合特征、成交时间特征、排序特征、类别稀疏侍征、 updateinfo和1 oginfo相关的特征等,所有特征加起来将近1500维,这么多维特征一方面可能会导致维数灾难,另一方面很容易导致过拟合,需要做降维处理,降维方法赏用的有如PCA,tSNE等,这类方法的计算复杂度比较高。并且根据以往经验,在数据挖掘类的匕赛中,PCA或t-SNE效果仨往不好。除了釆用降维算法之外,也可以通过特征选择来降低特征维度。特征选择的方法很多:最大信息系数(MIC)、皮尔森相关系数(衡量变量间的线性相关性)、正则化方法(L1,L2)、基于模型的特征排序方法。比较高效的是最后一种,即基于学习模型的特征排序方法,这种方法有一个好处:模型学习的过程和特征选择的过程是同时进行的,医此我们采用这和方法,基于 boost来做特征选择, xgboost模型洲练完成后可以输岀特征的重要性(见3.3图),据此我们可以保留TopN个特征,从而达到特在选择的目的。

剑桥模型本构源程序，用于岩土工程本构模型的建立