GB 7354-2003局部放电测量.pdf

　频率步进雷达是一种距离高分辨雷达,传统的处理方法是采用频时转换( IDFT) 获得目标的一维距离像,实际上其处理也可以采用时频转换(DFT) 的方式进行,这时也可把频率步进雷达看作是一种载频跳变的脉冲多普勒(PD) 雷达. 采用这种分析方法的优点是,在高重复频率(HPRF) 的情况下,可以通过雷达系统的参数设计和信号处理,同时获得不模糊的测速性能和距离高分辨性能,并解决HPRF PD 雷达的距离模糊问题. 本论文在分析频率步进雷达时频转换(DFT) 处理的基础上,给出了HPRF PD 频率步进雷达系统参数设计准则及频时耦合的解决方法,以及距离模糊问题的解决方案. 理论分析和仿真结果

matlab 线性调频信号匹配滤波器点目标回波距离分辨 提高性噪比

图像分割源代码(Matlab)，包含常用的各种图像分割技术代码

磁场定向控制（Field Oriented Control，FOC）是这样一种方法：将某一磁通量（转子、定子或气隙）作为创建另一磁通量参考坐标系的基准，目的是退去定子电流转矩分量和励磁分量的耦合。去耦可以简化对复杂三相电机的控制，从而能像以单独励磁控制直流电机那样控制三相电机。这意味着电枢电流负责转矩的产生，励磁电流负责磁通的产生。在本应用笔记中，将转子磁通作为定子和气隙磁通的参考坐标系对PMSM进行FOC的特別之处在于:定子的d轴基准根据电机的数学模型进行位置和速度估算。因此,模型电流对应于d轴上的电枢反应磁通)设置为零。越接近真实硬件,佔算器的执行效果就越好。PMSM的转子磁体产生转子磁链Y。这与ACM不同,ACM数学建模取决于其拓扑结杓,主要分为两类:表面贴装需要磁化电流具有恒定的基准电流值,才能产生转圯和内部贴装型永磁休。针对应用的需求,这两个类均子磁链。有其优缺点。围绕表面贴装型永磁同步电札川发了相应气隙磁迸等丁永磁体产生的转」磁链与定子电流产生的的控制方案(图2),与其他类型的PMSM相比,其优电枢反应磁链的和,对于FOC的恒定转矩模式,d轴气点是转矩纹波低、价柊低。表面贴裝型PMSM的气隙磁隙磁通仅与平相等,d轴电枢反应磁通为零通比较平滑,因此定子的电感值非凸极PMSM〕,且反电动势( Back Electromagnetic Force,与此相对,在恒定功率运行时,定子电流的励憾分量BEMF)呈正弦波。用于削弱气隙磁场,从而提高转速。由于此类PMSM的气隙(包含置丁定子齿和转子铁芯在无需位置或速度传感器的无传感器控制中,主要的困难是实现一个稳健的遮度估算器,能够抵御温度、电磁之间的表面贴装磁体)较大,此类PMSM相对于具有同样尺寸和标称功率值的其他类电机,具有更小的感应系噪声等干扰。对于成本非常敏感或不允许有诸如位置传数。电机的这些特性在一定程度上简化了速度和位置估感器等移动部件的应用或者电机在电气条件非常恶劣的算器使用的数学模型,同时使得FOC更有效。环境下运行时,通常需要釆用无传感器控制。然而,不应将对精确控制的要求,特别是低速时的要求,当作就持续保持电杌转子的磁链滞后电枢磁链90度可以获得给定应用选择控制方案的关键因素。每安培的FOC转矩最大(见图3)。图永磁体表面贴装型的横截面电机的横截面1.转子转轴是252.转子铁芯3.电枢(定子4.带电枢线圈的电枢槽5转子永磁体6.气隙C 2010 Microchip Technology IncDS01292ACN第3页图相位矢量图(基本转速警告:在对磁体表面贴装型PMSM进行弱磁q时,稍不注意或未遵照电机制造厂商的规范槳作,就有可能使转」遭受机械损坏,永憾体被退憾。通常使用环氧树脂粘贴或者使用不锈钢或碳素纤维环米固定永磁体。若转速超出制造厂商指定的最大转速,永磁伓就可能脱落或损坏,从而导致转子以及其他附着在电机转轴上的机械部件遭到破坏。若气隙憾通密度超过了磁通密度曲线的拐点,就会屮PW导致退磁,如图5所示图永磁体的迟滞曲线(理论上)在FOC恒定功率模式下,无法有效实现PMSM的弱磁,原因是较大的气隙室间会导致减弱的电枢反应磁通对转子永憾体的磁链产生丨扰。基于这个原因,所能获得的最大转速无法高于待测电机基本转速的两倍。图4给出了恒定功率—弱磁模式下的相位矢量方向。图相位矢量图(高速迟滞由线1.水磁体的固有特性。2.永磁体的一般特性。其中磁场密度=磁场感应永磁体感应磁通值ld矫顽磁性=固有矫顽磁性DS01292ACN第4页c 2010 Microchip Technology Inc类估算器公式本应用笔记屮使用的估算器就是AN1162《交流感应电a cos(p Bsin(p机(ACIM)的无传感器磁场定向控制(FOC)》(见参考文献)中采用的估算器,只是在本文中用于sin(pPMSM电机而已。估算器来用PLL结构。其工作原理基于反电动势采用固定的定子坐标系,公式4代表定子电路公式。(BEMF)的d分量在稳态运行模式中必须等于零。图6给出了佔算器的框图。公式如图6中的闭环控制回路所示,对转」的估算转速()进行积分,以获取估算角度,如公式1所示C公式阝阝阝在公式4中,包含-β的项通过经 Clarke变换的相将BEMF的q分量除以电压常量Kd得到估算转速系统的对应测量倌得到。以Y型(星犁)连接的定子相如公式2所示:为例,和分别代表每个相的定子电感和电阻。若电机采用△连接,则应计算等效的Y型连接相电阻和电公式并在上述公式中使用佟7表小估算器的参考电路模型。电机的A、B和C端n()·)连接到逆变器的输出端。电压、和代表施加给电机定子绕组的相电压。代表逆变器桥臂间的线电压,相电流为和考虑公式2中给出的最初估算假设(BEMF的d轴值在稳态下为零),根据 BEMF q轴值的符号,使用BEMF d轴值对BEMq轴值让行校正。经过公式3显示的Park变换后,使用一阶滤波器对 BEMF d-q分量值进行滤波。图:估算器的原理框图LPFa BLPFqC 2010 Microchip Technology IncDS01292ACN第5页图估算器的电路模型公式ARsVAB其中=Y犁连接的电机相电感=采样时间等于PWM周期BC为遊变器的直流链路电压BLS为每相的最大峰值电流B2·汇代表其中将控制系统中实现的公式做进一步的演化,估算器公式=Y型连接的电机相电阻4中的电压a和∨B是在FOC的前一训算环节中得到的结果,它们不仅在控制的前一步骤中馈送给空间向量调制( Space Vector Modulation,SVM)电路,而且在公式4的最后一项中,电流对时间的导数会对软件造成当前步骤屮馈送给估算器电路。la和lB是相电流经扰。因此,估算器的每次执行周期中都引入了电流变Clarke变换后得到的,在估算器的每个工作环节中都将化的极值,该值必须小于估算器每次执行周期的最大被读取电流变化值,每当发生PwM屮断都将执行该周期。公式4中定子电感()和电阻()经过了归一化根据公式3,将得到的 BEMF和B值通过Park变以便简化计算并满足软件表小要求,如公式5所小。換转换到转子磁通的旋转参考坐标系,得到和值。在Pak变换中使用的角度p,是估算器前一执行环节中计算得到的。基于等丁零,優用一阶滤波器对BEMF的dq值进行滤波,并将滤波后的值代入估算器的主程序。公式2给出了的计算,即如何得到电气转遼。对电气转达进行积分得到转子磁通与c-B固定定子坐标系之间的角度(p)。在公式2,K表示表1给出的电压常量。公式6给出了电气转速计算中使用的归化公式代表1000其中=极对数,以及前面指出的其他输入DS01292ACN第6页c 2010 Microchip Technology Inc使用与BEMF中所用的相同一阶滤波器对转速反馈进行确定这样的特性参数是个耗时的过稈,和预期一样,这滤波。该滤波器的一般形式见公式7些特性参数的线性度极差。公式:调整和实验结果(()-(-1)当转速低于基本抟速时,进行算法调整非常简单,此时用最大转矩模式。通常,由电机制造厂商测量或给出其中的参数添加到攴持文件中,该=当前滤波器的输出文件随本应用笔记一起提供(见附录:源代码),(-1)=上一次滤波器的输出从而得到归一化的参数供估算器使用。得到的值随后被()=当前滤波器的输入添加到项目文件中,准备运行。=滤波器常量要测量的参数包括转子电阻、转子电感以及电压常量Kd。滤波器输出的直流值应该不含有由ADC采集引起的噪声或软件计算引入的高频变化。滤波器的调整取决于要可在电机的接线端测量定子电阻和电感,然后将测得的滤波的值( beMF d-q分量和电气转速)的变化速度值除以2,得到和值。对于Δ型连接的电机,若调整的结果是要保证足够的带宽,降低冇用信号损失的电机制造厂商提供了相电阻和电感,则应将它们除以3得到星型连接的等效相电阻和电感可能性。对于BEMd-q分量,有两种情形:(1)高速,在弱嵫模式中,由于缺乏转矩瞬变或髙加速斜率,变化所有电机的制造厂商均会给出电压常量K其实,您缓慢:(2)低速,速度变化取决于电机的机械常量(以也可以采取非常简单的步骤来测量这个参数,即以恒定及电机转轴上的负载)和基准速度升高或下降的斜的速度旋转转子转轴,同时测量电机线端的输出电(取较快的那个值)压。如果在转速为1000RPM的情况下读数,测得的电瓜为典型的RMS值。将读到的数值乘以2的川平方即可得到以KRPM为单位表示的值。弱磁()对于测试的电机参数,表1中的数据就是米取上述步骤PMSM的弱磁意味着绘旋转坐标系d轴方向的定子电流测得的。施加一个负值,作用是削弱气磁链逆变器的电压输出在定子电阻和感应电阻上产生压降表剩下的电压用于消除BEMF。BEMF与电机的转速和电压常量K成正比。考虑到逆变器的最大输出电压限值电机类型电机单位通过降低与气隙磁链呈正比的电机电压常量Kb即可提高转速。气隙磁链的降低自然会导致转矩降低。连接类犁由丁控制气隙弱磁所涉及的电机特性参数之间的关系错L-L电阻1922综复杂,因此情况有些复杂。LL电感-1kHz2.672H电枢d轴电流对气隙弱磁的影响取决于从电枢齿到转子电压常量Ka7.24铁芯的磁烙的形状和磁性。如前所述,磁体表面贴装的KRPM类型对有效弱磁并无益处,因此设计电机磁路时很可能环温度22.7C仅针对电机以基本转速运行的情况,一旦超过基入转速就会出现饱和现象。饱和效应会导致电气参数发生变化其中之一就是定子的磁链电感,该值会在磁模式下减小。C 2010 Microchip Technology IncDS01292ACN第7页在 dS PICDEM MCLV开发板的两条并联攴路上分别读取要调整的开环参数包括锁定时间、最终加速度以及基准必需的相电流,在ADC采集之后,将读到的值缩放至电流值。锁定时闫代表转子对齐所必需的时间,它取决合适的范围。电流的总缩放因子取决于读取并联支路的于负载初始转矩和转动惯量(这两个值越大,锁定时间差分运放的增益和流经电机的电流的最大值。例如,在就越长)。起动时上升到的最终转速(以RPM表小)并联支路电阻为0.005Ω的情况卜,44A的峰值相电流应没置得足够高,以使估算器计算的BEMF具有足够的和75的增益会导致ADC输入端的电压为33V。对电精度,达到最终转速的时间取决于连接到电机转轴上的流使用缩放因子1,经过例1的转换,得到的电流值将阻性负载:负载越人,达到最终基准转遮所需的时间就为Q15格式,釆用软件实现方案时,必须使用该格式越长。例采用开环控制替代闭环控制起到简化的目的,其中转子磁通和圊定参考坐标系之间的估算角由开环増速控制中使用的强制角替换。强制角不关心转子的位置,而是使抟了位置增加一个角度,从而使转子的位置成为一个不断增加的量。图1给出了控制环的另一种简化形式,即在支持文件屮,电流缩放因子缺少速度控制器,并且q轴的基准电流是硬编码的是通过实验确定的,而并非使用上述步骤,因此消除了q轴基准电流用于提供在转速开环上升阶段流终电机的可能由电气元件公差导致的训算误差。公式8中显小的电流;初始负载越高,所需的电流就越人,负载决定基缩放常量与內部软件变量相乘得到实际电流值。准转短。公式:例2给出了基准电流设置的宏定义,将实际的电流值输入参数归一化至软件要求的范围,其算依赖于电流缩放常量(),最初是通过计算0确定的。作为输入的实际电流值的单位应为安培,并且处于[,]范围内。反之,要获取缩放常量,可以将实际电流值除以软件表示的十进制数。在稳态工作条件下,使用电流探针和例MPLAB③IDE的数据监视和捕捉接凵( Data monitorand capture Interface,DMc)功能,在示波器上测量峰值电流,并将测得的值除以DMCI给出的对应值即可完成上述操作。欲知有关DMC|用法的细节,请查询MPLAB IDE帮助文件。要使算法在开环系统中工作,从而禁止初始调节时的闭公式4显小在阻抗和感抗电压降计算中包含采集的电环控制环节,则应启用例3中给出的特定宏代码定义。流。由于采集过程中叫能存在噪声,需要对感抗电瓜降计算中包含的导数项进行限制以获得有效值。对于待测例电机来说,最人转速为5500PRM,峰-峰值电流为5A的情况下,最大电流变化为每50us025A就最初校准而言,电机起动时应带有负载,此时需要调整开环斜率参数。这对于在激活闭环控制之前,潜在P控制器的重新校准,甚全是一些初始过渡阶段的校验(比如强制角和估算角之间的角误差以及实验确定电流缩放常量),以及最初开环上升参数的精调非常有用。DS01292ACN第8页c 2010 Microchip Technology Inc对于采用弱磁后电机转速超过标称转速的情祝,由于系把这些考虑个内,并考虑公式6,当BEMF保持恒定时统参数呈现非线性,因而调节将更为复杂转速和1/a之间就呈玩比例关系,如公式9所示。从这点开始调整的目的,是要在无负载的条件下,实现测试电机标称转速的倍增。公式:警告:通常,电机制造厂商指出了不损坏电机时能够达到的最大转速(可能比额定电流时的制动点速度要大);如果未指出,电机的运行速度可能更高,但只能作一小段时间(断断续续地),还要承担前一节中于是对于转速倍增而言,为了弥衤感电压降,考虑每所述的退磁或机械损坏风殓电压常数1/d的上升超过一半(125%)的情沉。在查找衣中给出了1/d随转速的变化关系,查找索引在弱磁模式中,如果转速超过标称值而造成FOC失效,随时可能损坏逆变器。其原取决于转速。在开始韶分,查找表将表示1/φ随因在于,BEMF值将大于标称转速时产生转速ω的线性变化关系,不过稍后根据负载情况可对线性变化进行微调以便获得最佳能效。查找索引的获的BEMF值,从而超出DC母线电压值而这是逆变器的功率半导体和DC链路电容得,是把转了实际转速减去弱磁策略开始旄行之后的转速,再除以一个缩放因子。索引缩放因子给出了查找表不得不予以支持的电压。由于打算进行的调整意味着反复的系数校正,直至达到最的精细稈度度量,所以,对于相同的转速范围,缩放因优运行状况,为了防止在高速时电机停子越人,在查找表中得到的点就越少,而点代表的是加转,应确保使用相应电路对逆变器进行保以老虑的转速域。对于我们考虑的电机,最大转速是27500单位,其中5000单位表示1000RPM。考虑缩放因子为1024,弱磁开始转速是13000单位,结果是对调整原理的解释始于图4中的矢量图。考虑在(逆变(27500-13000)/1024=141。作表中有大致15项就器能够提供的)最大电压时生成每安培最大转矩所需的足以覆盖期望的转速范围。反过来计算,假如查找表中电流,低于标称转速时,它表示的只是q分量,这是转有17项,可能的最大转速将是17·1024+13000=矩生成所必需的。口前,等于;但是,弱磁策略开30408单位,约为6000RPM。由于估算的电流速度总始之后,定子电流将等丁d、q分量的矢量和。假设是存在某种程度的噪声,而且在速度值改变时索引的计定子电流及输入电压(绝对值)不变,定子电阻算可能不稳定,因此在软件屮计算索引时,使用的不是上的电压降也将不变,而感抗电压降将随转速成比例增(估算的)电流速度,而是基准速度。可以考虑基准速加。但是,由于表面贴装PM的感应系数值很小,在与度的变化斜率足够慢,从而估算速度能够很接近它。其他隐含指出的测量值进行比较时,可以忽略感抗的增考虑基准和最人遮度之间的线性变化关系,查找表值将加。把这一前提考虑在内,在对电机进行加速时,可以看上去类似于例4,且将使用实验获得的结果更新查找认为弱磁时BEMF是忸定的,由于感抗电压降的增加,BEMF的稍许下降是可以接受的。表值。表中的第一个值表示电机基时的1/d值,如同使用支持文件()所计算的那样。C 2010 Microchip Technology IncDS01292ACN第9页例:电压常数倒数初始化查找表电流的负d分量作用是减小电压常数Φ,在理想情况下是成比例的,如前所述,这为提升转速留下更人空另一方面是弱磁模式屮定子磁链电感的变化,它也是非线性的。为了消除它的影响,意味着要使用另一个査找表,其査找索引如前所述相同。表中的项表示的是转速①时的电感变化率(o),具体值是其索引除以基速时的两倍。表中第一项始终应该是,因为是基速电感除以两倍白身。此时,表中其余各项填充的值都好像其电慼是基速时的一半(例6)。例:电感变化初始化查找表使用标称电流运行电机,将不会导致磁铁的永久消磁。所以,强制d分量(亡负责气弥净磁通密度下降)为标称电流将不会有破坏性影响。在稳态时,由于缓慢的加速斜率以及没有阻抗转矩(除了轴承摩擦和风扇之外),无负载工作吋所需的q分量将非常小。实践中,d轴电流分量的设定通过查找表来进行,其索引与用来查找电压常数耷找表的索引相同。最初,表中填充的值将是电流与转速Q呈线性关系的值(表中的第一项表小的基速值,最后一项表小标称的电流值),如例5所示。例:轴基准电流初始化查找表出于测试目的,在软件中使用缓慢的斜率作为基准速度,使用如下的定义进行激活,如例7所示。例DS01292ACN第10页c 2010 Microchip Technology Inc

【实例简介】Spring Boot 2.0.4 & Shiro1.4.0 权限管理系统。 文章地址：https://xttblog.blog.csdn.net/article/details/88353878 FEBS是一个简单高效的后台权限管理系统。项目基础框架采用全新的Java Web开发框架 —— Spring Boot2.0.4，消除了繁杂的XML配置，使得二次开发更为简单；数据访问层采用Mybatis，同时引入了通用Mapper和PageHelper插件，可快速高效的对单表进行增删改查操作，消除了大量传统XML配置SQL的代码；安全框架采用时下流行的Apache Shiro，可实现对按钮级别的权限控制；前端页面使用Bootstrap构建，主题风格为时下Google最新设计语言Material Design，并提供多套配色以供选择。FEBS意指：Fast，Easy use，Beautiful和Safe。

　　鲁棒控制工具箱提供了一系列的函数和工具以支持带有不确定元素的多输入多输出控制系统的设计。在该工具箱的帮助下，你可以建立带有不确定参数和动态特性的LTI模型，也可以分析MIMO系统的稳定性裕度和最坏情况下的性能。　　该工具箱提供了一系列的控制器分析和综合函数，能够分析最坏情况下的性能及确定最坏情况下的参数值。利用模型降阶函数能够对复杂模型进行简化。同时提供了先进的鲁棒控制方法，如H2、H∞、LMI、μ分析等。

使用拍拍贷数据，建模全过程，从数据预处理开始到最后的模型比较。仅用于交流学习。队伍介绍队名“不得仰视本王”,队伍由五个小伙伴组成,我们是在一个类以的比赛(微额借款用户人品预测大赛)认识的,对数据挖掘竹热爱让我们走到了一起,以下是成员简介:姓名学校、学历比赛经历匚陈靖」中国科学技术大学研二天泡科学家总分第三,微额借贷用户人品预测大赛季军朱治亮浙江大学研二淘宝穿衣搭配比赛李军,微额借贷用户人品预测大赛李军质耀重庆邮电大学研二微额借贷用户人品预测大赛冠军匚赵蕊」重庆邮电大学研微额借贷用户人品预测大赛亚军黄伟鹏北京大学研一微额借贷用户人品预测大赛冠军解决方案概述2.1项目介绍与问题分析拍拍贷“魔镜风控系统”从平均400个数据维度评估厍户当前的信用状态,给每个告款人打出当前状态的信用分,在此基础上再结合新发标的信息,打出对于每个标约6个月内逾期率的预沨,为没资人提供关键的决策依据。本次竞赛目标是根据用户历史行为数据来颈测用户在六来6个月内是否会逾期还款的概率。问题转换成2分类问题,评估指标为AUC,从 Master, LogInfo, Update Info表中构建恃征,考虑评估指标为AUC,其本质是排序优化问题,所以我们在模型顶层融合也使用基于排序优化的 RANK AVG融合方法。2.2项目总体思路本文首先从数据清洗开始,介绍我们对缺失值的多维度处、对离群点的剔除方法以及对字符、空格等的处理;其次进行特征工程,包括对地理位置信息的特征构建、成交玉间特征、类别特征编码、组合特征构建、 Lpdatelnfo和 Log Info表的特征提取等;再次进行特征选择,我们采用了 boost, boost的训练过栏即对特征重要性的排序过程;然后处理类别的不平衡度,由于赛题数据出现了类不平衡的情况,我们采用了代价敏感学习和过采样两和方法,重点介绍我们所使用的过采样方法;最后一部分是模型设计与分析,我们采用了二业界广泛应用的逻辑回归模型、数据挖掘比赛大杀器 ghost.,创新性地揆索了large- scale sⅧm的方法在本赛题二的应用,玟得了不错的效果,此外还介绍了模型融合方、数据清洗3.1缺失值的多维度处理在征信领域,用户信总的完善程度可能会影响该层户的信用评级。一个信息完苦程度为100%的户比起完善程度为50%的用户,会更加容易官核通过并得到借款。从这一点亡发,我们对缺失值进行了多维度的分析和处理按列(属性)统计缺失值个数,进一步得到各列的缺失比率,下图(图1)显示了含有缺失值的属性和相应的缺失比率sing rate of Attributes图1.属性缺失比枣WeblogInfo_1和 WeblogInfo3的缺失值比率为97%,这两列属性基本不携带有用的信息,直接剔除。 Uscr Info_11、 Userinfo_12和 Uscr info_13的缺失值比率为63%,这三列属性是类别型的,可以将缺失值用-1垣充,相当于“是否缺失”当成另一种类别。其他缺失值比卒较小的数值型属性用中值填充按行统计每个样本的属性缺矢值个数,将缺失值个数从小到大排序,以序号为横坐标,缺失值个数为纵坐标,画出如下散点图(图2)test set16016014014C12012Cw9mczE100400060008000Order Numbe(sort ircreasinglyOrde Nt mber(sort increasing ly)图2.样本属性缺失个数对比 trainset和 testset上的样本的属性缺失值个数,可以发现其分有基本一致,但是trainset上出了几个缺失值个数特别多的样本(红框区域内),这几个样本可以认为是离群点,将其剔除另外,缺矢值个数可以作为一个特征,衡量用户信息的完善程度。3.2剔除常变量原始数据宁有190维数值型特征,通过计算每个数值型特征的标准差,剔除部分变亿很小的特征,下表(表1)列出的15个特征是标准差接近于0的,我们剔了这15维特征表1.剔除数值特征标准差属性标准差属性标准差属忾标准差Webloglnfo_10 0.0707 WeblogInfo_41 0.0212 Webloglnfo_490.0071Webloglnfo_23.0939 WeblogInfo_43 0.0372 Webloglnfo_5200512Webloglnfo_31.0828 Webloglnfo_44.0166 Webloglnfo_5400946Webloglnfo_32 0.0834 Webloglnfo_46.0290 WeblogInfo_5500331Webloglnfo_40.0666 Webloglnfo_47 0.0401 WeblogInfo_58006093.3高群点剔除在样本空间中与其他样本点的一般行为或特征不一致的点称为离群点,考虑到离群点的异常特征可能是多维度的组合,我们通过分析样本属性的缺矢值个数,剔除了极少量的离群点(见3.1节)此外,我们还采用了另外一种简单有效的方法:在原始数捶上训练ⅹ gboost,用得到的xgb模型输出特征的重要性,取最重要的前20个特征(如图3所示),统计每个栏本在这20个特征上的缺失值个数,将缺矢值个数大于10的样本作为离群点。ThrciParty Ifn PeriodIntrAparty nto HerodThrcPorty hfo Penod3ardiParty hfo Period?ThirdParty Info Penod图3.Xgb特征重要性通过这个方法,易除了400多个样水。这些样在重要特征上的取值是缺失的,会使得模型学习变得因难,从这个角度妖说,它们可以看成是离群点,应剔除掉。3.4其他处理(1)字符大小写转换Userupdate Info表宁的 Userupdate Info1字段,属性取值为英文字符,包含了大小写,如Q"和”qQ",很玥显是同一和取值,我们将所有字符统一转换为小写(2)空格符处理Mastor表中 UserInfo9字段的取值包含了空格字符,如“中国移动”和“中国移动”它们是同一种取值,需要将空格符去除。(3)城市名处理Userinfo_8包含有“重庆”、“重庆市”等取僬,它们实际上是同一个城市,需要把字符中的“市”全部去掉。去掉“市”之后,城市数由600多下降到400多。四、特征工程4.1地理位置的处理对地理位置信(类别型变量)最简单的处理方式是独热编码(one- hot encoding),但是这样会得到很高维的稀疏特征,影响糢型的学习,我们在独热编码旳基础上,做了特征选择。下面介绍具体的方法。赛题数据提供了用户的地挛位置信息,包括7个字段: Userinfo2、 Userinfo4、UserInfo7、 UserInfo8、 UserInfo I9、 UserInfo20,其中 UserInfo_7和 UserInfo19是省份信息,其余为城市信息。我们统计了每个省份和城市的违约率,下图以 Userinfo_7为例图1.省分违约率可视化图5可视化了每个省份的违约率,颜色越深代表违约率越大,其中违约率最大的几个省份或直辖市为四川、湖南、湖北、吉林、天津、山东,如下图所示:图5.违约深突出省份可视化因此我们可以构建6个二值特征:“是否为四川省”、“是否为湖南省”...“是否为山东省”,其取值为或1。其实这相当于对地理位置信息做了独热编码,然后保留其中有判别性的菜些列。这里 UserInfo_7何含32和取值,编码后可以得到32维的稀疏特征,而我们只保留其宇的6维以上我们是通过人工的分析方法去构延二值特征,在处理省份信息时还是匕较直观的,但是处理城市信息,比如 Userinfo2,包含了33个减市,就没有那么直观了。为了得到有判别性的二值特征,我们首先对 Userinfo2进行独热编码,得到333维的二值特征,然后在这333维稀疏特征上训练ⅹgb模型,再根据xgb输出的特征重要性刷选二值痔征,以下是选取到的部分二值特征(对应的城市):“淮纺市”、“九江市”、“三门峡市”、“汕头市”、“长春市”、“铁岭市”、“济菊市”、“成都市”、“淄博市”、“牡丹江市”。按城市等级合并类别型特征取值个数太多时,独热编码后得到太高维的稀疏特征,除了采用上面提到的特征选择方法外,我们还使用了合并变量的方法。按照城市等级,将类别变量合并,例如线城市北京、上海、广州、深圳合并,赋值为1,同样地,二线城市合并为2,三线城市合并为3>经纬度特征的引入以上对地理位置信息的处理,都是基于类别型的,我们另外收集了各个城市的经纬度,将城市名用经纬度替换,这样就可以将类别型的变量转化为数值型的变量,比如北京市,用经纬度(39.92,116.46)替换,得到北纬和东经两个数值型特征。加入经纬度后,线下的cross validation有千分位的提升。城市特征向量化我们将城可特征里的城市计数,并取Log,然后等值离散化到610个区间内。以下图为例,将 serino2这个特征里面的325个城市离散为一个6维向量。向量“100000”表示该城位于第一个区间。线下的 cross validation有千分位的提升。Loglui2 num)6.城市特征离散化地理位置差异特征如图8所示,1,2,1,6列郗是城市。那么我们构建一个城市差异的特征,比妇diff_12表示1,2列的城市是否相同。如此构建 diff l2,diff_14,diff_l6,diff_24,diff26,diff46这6个城市差异的特征。线下的 cross validation有千分位的提升。⊥aJse⊥nfa2 userinfo4 Userinfo7 Userinfo8 Userinfo19uer⊥nf。201C013郴州1C020惠州1C033零1c035深圳东东东东建东福建省10038济104连云港远言港带1C042德州1c043青岛聊拔东自聊城市46深圳汕广东广东省汕尾市105所多工新乡图7.地理位置差异样例4.2成交时间特征按日统计训练集中每天借贷的成交量,正负样本分别统计,得到如下的曲线图8,横坐标是日期(20131101至20141109),纵坐标是每天的借贷量。蓝色由线是违约的样本每天的数量(为了对比明显,将数量乘上了2),绿色曲线对应不违约的样本train set1200count o10008004002广外从20030350Date20131101~20141109图8.每日借贷量统计可以发现拍拍贷的业务量总体是在埤长的,而违约数量一开始也是缓慢增长,后面基本保持不变,总体上违约率是平稳甚至下降的。在横坐标300~350对应的日期区间,出现了些借贷量非鸴大的时间苄点,这些可能隐减着苿些信息,我们尚未挖掘出来。考虑到违约率跟时间线有关,我们将戒交时间的字段 Listinginfc傲了几种处理,一和是直接将其当做连续值特征,也就是上图对应的横坐标,另一和是离散化夂理,每10天作为一个区间,乜就是将日期0`10离散化为1,日期1120离散化为2.4.3类别特征的处理除了上面提到的对菜些类别特征进行特殊处理外,其他类别特征都做独热编码。44组合特征Xgboost的训练完成后可以输出特征的重要性,我们发现第三方数据特征ThirdParty Info Period XX”的 feature score比较大(见图3),即判别性比较高,于是用这部分特征构建了ξ合特征:将特征两两相除得到7000个特征,然后使用 boost对这7000多个特征单独训练模型,训练完成后得到特征重要性的排序,取其中top500个特征线下cv能达到0.73+的AUC值。将这500个特征添加到原始特征体系中,线下cv的AC值从0.777捉高到0.7833。另外,也组合了乘法特征(取对数):10g(x*y),刷选出其中的270多维,加入到原始特征休系中,单模型cv又提高到、0.785左右。4.5 Upadte Info表特征根据提供的修改信息表,我们从中抽取了用户的修改信息特征,比如:修改信息次数,修改信息时间到成交时间的跨度,每和信息的修改次数等等特征。46 LogInfo表特征类似地,我们从登录信息表里提取了用户的登录信息特征,比如登录天数,平均登录间隔以及每种操作代码的次数等47排序特征对原始特征中190维数值型特征接数值从小到大进行排序,得到190维排序特征。排序特征对异常数据有更强的鲁棒性,使得模型更加稳定,降低过拟合的风险。五、特征选择在特征工程部分,我们构建了一系列位置信息相关的特征、组合特征、成交时间特征、排序特征、类别稀疏侍征、 updateinfo和1 oginfo相关的特征等,所有特征加起来将近1500维,这么多维特征一方面可能会导致维数灾难,另一方面很容易导致过拟合,需要做降维处理,降维方法赏用的有如PCA,tSNE等,这类方法的计算复杂度比较高。并且根据以往经验,在数据挖掘类的匕赛中,PCA或t-SNE效果仨往不好。除了釆用降维算法之外,也可以通过特征选择来降低特征维度。特征选择的方法很多:最大信息系数(MIC)、皮尔森相关系数(衡量变量间的线性相关性)、正则化方法(L1,L2)、基于模型的特征排序方法。比较高效的是最后一种,即基于学习模型的特征排序方法,这种方法有一个好处:模型学习的过程和特征选择的过程是同时进行的,医此我们采用这和方法,基于 boost来做特征选择, xgboost模型洲练完成后可以输岀特征的重要性(见3.3图),据此我们可以保留TopN个特征,从而达到特在选择的目的。

1000款MT4_EA全部源代码文件，包含各种刷单、剥头皮、趋势、波段、跟单等源文件。

matlab leach 完整代码 matlab leach

slow feature analysis 慢特征分析matlab源代码，参考文献：Wiskott, L. and Sejnowski, T.J. (2002), "Slow Feature Analysis:Unsupervised Learning of Invariances",