登录
首页 » Others » 两幅影像的变化检测(找出不同时期,影像上的变化情况)

两幅影像的变化检测(找出不同时期,影像上的变化情况)

于 2020-11-28 发布
0 485
下载积分: 1 下载次数: 1

代码说明:

两张不同时期的影像的变化检测,检测出变化的区域

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • easysuite by Kai Borre
    Kai Borre 大神的 easysuite 1 和 2 完整代码及文档,包含单点定位、载波相位差分等程序,GPS学习不可多得的资料。
    2021-05-06下载
    积分:1
  • opencv实现红细胞个数计数
    该程序采用opencv工具,计算给定图片内的红细胞个数,同时计算细胞的面积、周长和密集度信息。
    2020-07-01下载
    积分:1
  • DUILIB加载XML界面源码
    《DUILIB加载XML界面》对应源码,博客地址:http://blog.csdn.net/harvic880925/article/details/8920326,有兴趣的朋友可以去看看
    2020-12-04下载
    积分:1
  • matlab仿真计算光纤的色散和自相位调制
    在matlab下仿真计算光纤的色散和自相位调制特性
    2020-12-05下载
    积分:1
  • 控制理论导论:从基本概念到研究前沿
    控制理论导论:从基本概念到研究前沿 很详细的理论介绍前言维纳(N. Wiener)在1948年出版的专著《控制论,或关于在动物和机器中的控制与通讯》,标志着控制论作为科学的一门重要分支正式诞生.维纳也因此成为控制论的主要创始人之一,我国著名科学家钱学森在1954年出版的专著《工程控制论》又进一步推动了控制论与工程技术问题的峦切结合从那时到现在,控制论经历了半个世纪的迅猛发展.工业化和高科技的发展,对工业控制提出了越来越高的要求,特别是制导和航天技术的发展,促进了自20世纪60年代初以来现代控制理论的诞生和发展.而计算机的出现和高速发展,网络技术的日新月异使得高精度控制的在线实现成为可能半个世纪后的今天,控制论已经成为一门理论严谨、内容丰富、分支众多、发展迅速、应用广泛的学科领域.钱学森曾经从生产力,特别是技术革命的进程分析了控制论的产生和发展,他强调:“我们可以毫不含糊地说,从科学理论的角度来看,20世纪上半叶的三大伟绩是相对论、量子论和控制论,也许可以称它们为三项科学革命,是人类认识客观世界的三大飞跃控制理论发展到今天,恐怕没有一位系统与控制专家能够同时掌握控制理论的所有前沿分支,正如当今一个数学家很难同时是拓扑学、几何学、代数学、微分方程、泛函分析、概率统计、数论等各方面的专家.但是,与纯数学不同的是,一个优秀的系统与控制科学家,应该能对不同的控制理论与控制方法有一个比较全面的了解.控制论是一门应用性很强的科学理论,它面对的是各种各样错综复杂的实际系统.宇宙飞船到底是有夯维模型还是无穷维模型,是随机系统还是确定性系统,是该采用最优控制还是用鲁棒控制,抑或是多种模型和多种控制手段的综合,不可能有现成的答案模型的刻画、控制手段的选择,都是控制工程师自己的事情.这种以问题为导向、以解决问题为目标的研究路线,要求系统与控制的理论工作者和工程师面对需求或实际对象,有宽阔的知识面,对本学科各个重要分支的理论和方法有一个全面、综合的了解.这也是我们对研究生,特别是对那些有志在系统与控制科学的理论与应用研究方面,实现其人生宏伟理想的博士研究生们的要求和期盼.控制论方面的书籍汗牛充栋,文献更是如山似海,但不求甚解的“泛读”不如“不读精读一本好的工具书,可以让人达到事半功倍的效果20世纪70年代中期至80年代,我们的老研究室主任关肇直主编的“现代控制前言理论小丛书”,为现代控制理论在中国的传播和发展起到了历史性的作用.20多年过去∫,控制论有了长足的发展,相当一部分内容亟待更新.另外,“小丛书”虽册数较多,但系统性和整体性还不完善.所以,我们希望本书能达到以下几点要求(1)从必要的数学基础到控制理论,基本上自成体系,一个具有现代工程数学背景的大学毕业生就能读懂它的主要部分(2)它具有全方位性,能够对控制理论的几个主要方向都作出一定深度的介绍.使“读破”这卷书的读者能对现代控制理论有一个较为全面的了解3)它是一本综合性的教科书,基本部分论述详尽具体,每节后附有启发性的习题,可供学生循序渐进地学习,引导研究生迅速进入研究前沿(4)它又是一本前沿性的参考书,提高部分对现代控制理论的最新进展和挑战性课题作了专门介绍,可供有关科学和工程研究工作者参考这样一个目标绝非一两个人所能完成的,国内外也未曾见过此类书籍,这是一个创新的尝试.本书是由八位资深研究员执笔,十多位一线科研人员参与,依靠大家的协作、奉献和团队精神完成的.部分内容曾作为中国科学院有关专业博士生课程教材试讲本书的内容大体上可分为两大部分.第一部分前5章)是工具篇,介绍本书及控制理论中用到的一些基本数学工具.这些可以看作是对控制论专业博士研究生的基本要求,也可以作为有关科研工作者理论进修的参考或工具型手册第1章包括线性代数和线性系统两部分.在线性代数部分中给出一些在一般大学教科书中不多见的内容,如张量积、奇异值分解等,可以看作是标准线性代数课程的补充.线性系统部分则包括能控性、能观测性、标准分解等一些基本知识现在这些内容不仅对于控制专业,而且对许多相近专业已经成为必修的基础理论了第2章介绍常微分方程的基本理论,包括解的存在和唯一性、解的延拓及解对初值和参数的连续依赖性;线性常微分方程的基本结果;稳定性理论和平面定性理论初步.这些内容是集中参数控制理论的必不可少的数学工具第3章的内容包括抽象代数、拓扑及微分几何.对抽象代数只讨论群、环与代数概念.对点集拓扑作了较全面的介绍.对代数拓扑,只涉及同伦、基本群等.微分几何因为是非线性系统研究的基本工具,本章对它的讨论相对而言较详细.对流形、向量值纤维丛、黎曼流形、辛几何等均作了讨论第4章从测度论的观虑引进严格的概率空间、事件独立性等概念,介绍概率中的独立变量、极限定理等基本工具,然后介绍鞅与鞅差序列.并讲述随机过程和前言随机微分方程初步.为随机控制系统提供理论基础第5章介绍分布参数系统控制所要用的泛函分析、线性算子半群理论和偏微分方程的一些基本知识主要内容包括 Hilbert空间和 Banach空间、线性算子理论、谱理论、线性发展方程、 Sobolev空间、偏微分方程边值问题等.当然这些基本理论的深入掌握则需要读者去阅读有关的专著了本书的第二部分后6章)是控制篇,介绍现代控制理论中最活跃的几个理论分支,目的是帮助研究生了解有关控制理论,并引导他们进入科研前沿,也可以作为相关研究人员的参考资料第6章首先讨论了线性系统H控制的基础理论与设计方法.然后讨论非线性系统H-控制问题它在理论与设计上都与线性系统有显著区别最后给出一些它在上程设计中应用的典型例子第7章介绍集中参数系统最优控制理论的基本绪果.从T程实际问题归纳出最优控制问题的共同特点和数学描述开始,讲述最优控制理论的基本结果.包括最大值原理;线性系统时间最短控制;线性二次最优控制;双方极限原理及其与H灬控制的关系,为了解20世纪60年代的最优控制理论与9年代的干扰抑制控制之间的区别和联系提供“桥”第8章讨论非线性系统控制理论.由于非线性系统控制的理论与方法十分丰富,这里着重于非线性系统的几何理论.内容包括主要的经典方法与理论结果如能控性、能观测性、不变分布及解耦、线性化与近似线性化等.也包括新近发展起来的后推式自适应控制,中心流形方法,耗散理论,哈密顿系统理论等第9章讨论自适应系统.内容包括自适应估计和自适应控制两部分.该章将首先对自适应系统作以综合介绍,然后讨论定常及时变参数系绕的自适应估计理论和方法,其中涉及线性时变随机系统的稳定性研究;接着给出自校正调节器和自适应极点配置等典型自适应控制器的基本理论与设计技巧.该章的习题也是从事该领域进一步研究的必要基础第10章讨论分布参数控制系统的基本理论,包括无穷维线性系统的稳定性、能控性、能观测性、反馈镇定、弹性梁振动控制、波动方程的控制和无穷维线性系统二次型最优控制,以及时域乘子法、频域乘子法、Resz基方法等各种具体方法的介绍第1章研究关于以制造系统,计算机网等为应用背景的离散事件动态系统先简单综述了各种方法,然后主要论述了极大代数方法,包括建模与分析,能达能观测性,周期(“极点”)配置与稳定性,最优控制与调度等.最后论述了这个方向aIy.前言的两个最新进展:双子(Did代数方法与极小极大函数方法本书各章的执笔人为:张纪峰(第1章),秦化淑(第2章),程代展(第3章),陈翰酸(第4章,冯德兴(第5章).申铁龙(第6章),秦化淑(第7章),程代展(第8章)郭雷第9章),冯德兴(第10章),陈文德第11章)最后,由郭雷、程代展和冯德兴等负责统编如今,复杂系统科学、信息科学与生命科学的发展,社会与生态问蔥,高科技与经济全球化都给控制理论提出了新的挑战,同时也给予控制理论发展以新的机遇希望寄托于年轻的一代,寄托于现在的大学生和研究生们、伴随着中华民族的腾飞,他们必将成为未来国际系统与控制科学主导潮流的弄潮几.如果能用我们的肩膀为他们的成长起一点铺路石子的作用,那么本书的目的也就达到了笔者感谢华夏英才基金对本书出版的支持,感谢常金玲、刘智敏等同志在本书打印、编排等方面的贡献,感谢科学出版社的支持与帮助.本书的出版还得到国家自然科学基金委员会创新研究群体科学基金和重点项目(60334040)的资助笔者学识浅薄,错误和疏漏在所难免,愿专家和读者不吝赐教编者2004年3月中国科学院数学与系统科学研究院系统控制重点实验室数学符号表属于∈C∩u包含于集合交运算集合并运算集合差运算蕴含当且仅当实数域RCzzN复数域整数域4非负整数集自然数集,即正整数集空集Re实部虚部pan M由M中向量的线性组合构成的线性子空间SIRI符号函数LP(9)可测集92上p次可积函数空间LPJ; Rn)区间J到Rm上的p次可积函数空间r(a)矩阵A的迹A矩阵A的转置Reo(A)矩阵A的特征值的实部dim M子空间M的维数cool子空间N的余维数ker(A)矩阵A的零(核)空间Image (A)矩阵A的值域直和宜交和第3、8章专用符号MnX弧m×n矩阵集n×"矩阵集TI數学符号友GL(n, r)一般线性群gl(n, R)般线性代数So(n, R)特殊正交线性群特殊正交线性代数p(n, R)辛群sp(n, R)辛代数李括号协变张量的外积泊桑括号H
    2020-12-10下载
    积分:1
  • material 后台模板
    这是一款material UI风格前端模板 ,效果请参考 http://demos.creative-tim.com/material-dashboard-pro/examples/dashboard.html.如果大家觉得5分太多,可以到这个网站上下载免费版,我这里提交的是收费的Pro版。大家可以对比下效果。
    2020-12-12下载
    积分:1
  • comsol变压器噪声分析
    本文档是以ABB公司具体仿真为参考,通过对仿真过程及仿真结果的分析,阐述了噪声在变压器中的影响。三三ABABPRODUCTIOSTAR COST OFDESIGN CHANGETIMEPRODUCTIONSTARTPOSSIBILITY TOCHANGE DESIGNTIMEABThey can be considered as the gearboxes of the electrical gridABABNo-load noise(core noise)Sound powerLoad noise (winding noise)RadiationTank resonanceTankVibrationOiltransmissiontransmissionIndingCoreWindingsMagnetic pull注上计ElectromagneticMagnetostrictionorceNO-LOADLOAD CURRENTABn x 100 Hz(n x 120 Hz) with n=2, 3WAABdBln requency Response H1(4508(2), PCB208A03 Ref )-STS Measurement 11(Magnitude(m/s/N]Amplitude3533025f, ffr f213420Frequency1500102003008000204008501001200140016018002cFrequency HzEc;415AB
    2020-11-28下载
    积分:1
  • autostitch64 【全景图像自动拼接软件】多幅无序图像自动排序,配准,效果很好【BROWN和LOWE论文中给出的软件】
    《Automatic Panoramic Image Stitching using Invariant Features》 MATTHEW BROWN∗ AND DAVID G. LOWE给出的全景自动拼接软件,和论文相配套,特别好用!!!
    2020-12-02下载
    积分:1
  • OFDM物理层发射机_接收机模型matlab代码
    这是一个定点的多带OFDM物理层发射机_接收机模型,共122个子载波,22个导频,采用QPSK调制,5_8前向纠错码(删余卷积码.)
    2020-11-30下载
    积分:1
  • 风控建模等奖
    使用拍拍贷数据,建模全过程,从数据预处理开始到最后的模型比较。仅用于交流学习。队伍介绍队名“不得仰视本王”,队伍由五个小伙伴组成,我们是在一个类以的比赛(微额借款用户人品预测大赛)认识的,对数据挖掘竹热爱让我们走到了一起,以下是成员简介:姓名学校、学历比赛经历匚陈靖」中国科学技术大学研二天泡科学家总分第三,微额借贷用户人品预测大赛季军朱治亮浙江大学研二淘宝穿衣搭配比赛李军,微额借贷用户人品预测大赛李军质耀重庆邮电大学研二微额借贷用户人品预测大赛冠军匚赵蕊」重庆邮电大学研微额借贷用户人品预测大赛亚军黄伟鹏北京大学研一微额借贷用户人品预测大赛冠军解决方案概述2.1项目介绍与问题分析拍拍贷“魔镜风控系统”从平均400个数据维度评估厍户当前的信用状态,给每个告款人打出当前状态的信用分,在此基础上再结合新发标的信息,打出对于每个标约6个月内逾期率的预沨,为没资人提供关键的决策依据。本次竞赛目标是根据用户历史行为数据来颈测用户在六来6个月内是否会逾期还款的概率。问题转换成2分类问题,评估指标为AUC,从 Master, LogInfo, Update Info表中构建恃征,考虑评估指标为AUC,其本质是排序优化问题,所以我们在模型顶层融合也使用基于排序优化的 RANK AVG融合方法。2.2项目总体思路本文首先从数据清洗开始,介绍我们对缺失值的多维度处、对离群点的剔除方法以及对字符、空格等的处理;其次进行特征工程,包括对地理位置信息的特征构建、成交玉间特征、类别特征编码、组合特征构建、 Lpdatelnfo和 Log Info表的特征提取等;再次进行特征选择,我们采用了 boost, boost的训练过栏即对特征重要性的排序过程;然后处理类别的不平衡度,由于赛题数据出现了类不平衡的情况,我们采用了代价敏感学习和过采样两和方法,重点介绍我们所使用的过采样方法;最后一部分是模型设计与分析,我们采用了二业界广泛应用的逻辑回归模型、数据挖掘比赛大杀器 ghost.,创新性地揆索了large- scale sⅧm的方法在本赛题二的应用,玟得了不错的效果,此外还介绍了模型融合方、数据清洗3.1缺失值的多维度处理在征信领域,用户信总的完善程度可能会影响该层户的信用评级。一个信息完苦程度为100%的户比起完善程度为50%的用户,会更加容易官核通过并得到借款。从这一点亡发,我们对缺失值进行了多维度的分析和处理按列(属性)统计缺失值个数,进一步得到各列的缺失比率,下图(图1)显示了含有缺失值的属性和相应的缺失比率sing rate of Attributes图1.属性缺失比枣WeblogInfo_1和 WeblogInfo3的缺失值比率为97%,这两列属性基本不携带有用的信息,直接剔除。 Uscr Info_11、 Userinfo_12和 Uscr info_13的缺失值比率为63%,这三列属性是类别型的,可以将缺失值用-1垣充,相当于“是否缺失”当成另一种类别。其他缺失值比卒较小的数值型属性用中值填充按行统计每个样本的属性缺矢值个数,将缺失值个数从小到大排序,以序号为横坐标,缺失值个数为纵坐标,画出如下散点图(图2)test set16016014014C12012Cw9mczE100400060008000Order Numbe(sort ircreasinglyOrde Nt mber(sort increasing ly)图2.样本属性缺失个数对比 trainset和 testset上的样本的属性缺失值个数,可以发现其分有基本一致,但是trainset上出了几个缺失值个数特别多的样本(红框区域内),这几个样本可以认为是离群点,将其剔除另外,缺矢值个数可以作为一个特征,衡量用户信息的完善程度。3.2剔除常变量原始数据宁有190维数值型特征,通过计算每个数值型特征的标准差,剔除部分变亿很小的特征,下表(表1)列出的15个特征是标准差接近于0的,我们剔了这15维特征表1.剔除数值特征标准差属性标准差属性标准差属忾标准差Webloglnfo_10 0.0707 WeblogInfo_41 0.0212 Webloglnfo_490.0071Webloglnfo_23.0939 WeblogInfo_43 0.0372 Webloglnfo_5200512Webloglnfo_31.0828 Webloglnfo_44.0166 Webloglnfo_5400946Webloglnfo_32 0.0834 Webloglnfo_46.0290 WeblogInfo_5500331Webloglnfo_40.0666 Webloglnfo_47 0.0401 WeblogInfo_58006093.3高群点剔除在样本空间中与其他样本点的一般行为或特征不一致的点称为离群点,考虑到离群点的异常特征可能是多维度的组合,我们通过分析样本属性的缺矢值个数,剔除了极少量的离群点(见3.1节)此外,我们还采用了另外一种简单有效的方法:在原始数捶上训练ⅹ gboost,用得到的xgb模型输出特征的重要性,取最重要的前20个特征(如图3所示),统计每个栏本在这20个特征上的缺失值个数,将缺矢值个数大于10的样本作为离群点。ThrciParty Ifn PeriodIntrAparty nto HerodThrcPorty hfo Penod3ardiParty hfo Period?ThirdParty Info Penod图3.Xgb特征重要性通过这个方法,易除了400多个样水。这些样在重要特征上的取值是缺失的,会使得模型学习变得因难,从这个角度妖说,它们可以看成是离群点,应剔除掉。3.4其他处理(1)字符大小写转换Userupdate Info表宁的 Userupdate Info1字段,属性取值为英文字符,包含了大小写,如Q"和”qQ",很玥显是同一和取值,我们将所有字符统一转换为小写(2)空格符处理Mastor表中 UserInfo9字段的取值包含了空格字符,如“中国移动”和“中国移动”它们是同一种取值,需要将空格符去除。(3)城市名处理Userinfo_8包含有“重庆”、“重庆市”等取僬,它们实际上是同一个城市,需要把字符中的“市”全部去掉。去掉“市”之后,城市数由600多下降到400多。四、特征工程4.1地理位置的处理对地理位置信(类别型变量)最简单的处理方式是独热编码(one- hot encoding),但是这样会得到很高维的稀疏特征,影响糢型的学习,我们在独热编码旳基础上,做了特征选择。下面介绍具体的方法。赛题数据提供了用户的地挛位置信息,包括7个字段: Userinfo2、 Userinfo4、UserInfo7、 UserInfo8、 UserInfo I9、 UserInfo20,其中 UserInfo_7和 UserInfo19是省份信息,其余为城市信息。我们统计了每个省份和城市的违约率,下图以 Userinfo_7为例图1.省分违约率可视化图5可视化了每个省份的违约率,颜色越深代表违约率越大,其中违约率最大的几个省份或直辖市为四川、湖南、湖北、吉林、天津、山东,如下图所示:图5.违约深突出省份可视化因此我们可以构建6个二值特征:“是否为四川省”、“是否为湖南省”...“是否为山东省”,其取值为或1。其实这相当于对地理位置信息做了独热编码,然后保留其中有判别性的菜些列。这里 UserInfo_7何含32和取值,编码后可以得到32维的稀疏特征,而我们只保留其宇的6维以上我们是通过人工的分析方法去构延二值特征,在处理省份信息时还是匕较直观的,但是处理城市信息,比如 Userinfo2,包含了33个减市,就没有那么直观了。为了得到有判别性的二值特征,我们首先对 Userinfo2进行独热编码,得到333维的二值特征,然后在这333维稀疏特征上训练ⅹgb模型,再根据xgb输出的特征重要性刷选二值痔征,以下是选取到的部分二值特征(对应的城市):“淮纺市”、“九江市”、“三门峡市”、“汕头市”、“长春市”、“铁岭市”、“济菊市”、“成都市”、“淄博市”、“牡丹江市”。按城市等级合并类别型特征取值个数太多时,独热编码后得到太高维的稀疏特征,除了采用上面提到的特征选择方法外,我们还使用了合并变量的方法。按照城市等级,将类别变量合并,例如线城市北京、上海、广州、深圳合并,赋值为1,同样地,二线城市合并为2,三线城市合并为3>经纬度特征的引入以上对地理位置信息的处理,都是基于类别型的,我们另外收集了各个城市的经纬度,将城市名用经纬度替换,这样就可以将类别型的变量转化为数值型的变量,比如北京市,用经纬度(39.92,116.46)替换,得到北纬和东经两个数值型特征。加入经纬度后,线下的cross validation有千分位的提升。城市特征向量化我们将城可特征里的城市计数,并取Log,然后等值离散化到610个区间内。以下图为例,将 serino2这个特征里面的325个城市离散为一个6维向量。向量“100000”表示该城位于第一个区间。线下的 cross validation有千分位的提升。Loglui2 num)6.城市特征离散化地理位置差异特征如图8所示,1,2,1,6列郗是城市。那么我们构建一个城市差异的特征,比妇diff_12表示1,2列的城市是否相同。如此构建 diff l2,diff_14,diff_l6,diff_24,diff26,diff46这6个城市差异的特征。线下的 cross validation有千分位的提升。⊥aJse⊥nfa2 userinfo4 Userinfo7 Userinfo8 Userinfo19uer⊥nf。201C013郴州1C020惠州1C033零1c035深圳东东东东建东福建省10038济104连云港远言港带1C042德州1c043青岛聊拔东自聊城市46深圳汕广东广东省汕尾市105所多工新乡图7.地理位置差异样例4.2成交时间特征按日统计训练集中每天借贷的成交量,正负样本分别统计,得到如下的曲线图8,横坐标是日期(20131101至20141109),纵坐标是每天的借贷量。蓝色由线是违约的样本每天的数量(为了对比明显,将数量乘上了2),绿色曲线对应不违约的样本train set1200count o10008004002广外从20030350Date20131101~20141109图8.每日借贷量统计可以发现拍拍贷的业务量总体是在埤长的,而违约数量一开始也是缓慢增长,后面基本保持不变,总体上违约率是平稳甚至下降的。在横坐标300~350对应的日期区间,出现了些借贷量非鸴大的时间苄点,这些可能隐减着苿些信息,我们尚未挖掘出来。考虑到违约率跟时间线有关,我们将戒交时间的字段 Listinginfc傲了几种处理,一和是直接将其当做连续值特征,也就是上图对应的横坐标,另一和是离散化夂理,每10天作为一个区间,乜就是将日期0`10离散化为1,日期1120离散化为2.4.3类别特征的处理除了上面提到的对菜些类别特征进行特殊处理外,其他类别特征都做独热编码。44组合特征Xgboost的训练完成后可以输出特征的重要性,我们发现第三方数据特征ThirdParty Info Period XX”的 feature score比较大(见图3),即判别性比较高,于是用这部分特征构建了ξ合特征:将特征两两相除得到7000个特征,然后使用 boost对这7000多个特征单独训练模型,训练完成后得到特征重要性的排序,取其中top500个特征线下cv能达到0.73+的AUC值。将这500个特征添加到原始特征体系中,线下cv的AC值从0.777捉高到0.7833。另外,也组合了乘法特征(取对数):10g(x*y),刷选出其中的270多维,加入到原始特征休系中,单模型cv又提高到、0.785左右。4.5 Upadte Info表特征根据提供的修改信息表,我们从中抽取了用户的修改信息特征,比如:修改信息次数,修改信息时间到成交时间的跨度,每和信息的修改次数等等特征。46 LogInfo表特征类似地,我们从登录信息表里提取了用户的登录信息特征,比如登录天数,平均登录间隔以及每种操作代码的次数等47排序特征对原始特征中190维数值型特征接数值从小到大进行排序,得到190维排序特征。排序特征对异常数据有更强的鲁棒性,使得模型更加稳定,降低过拟合的风险。五、特征选择在特征工程部分,我们构建了一系列位置信息相关的特征、组合特征、成交时间特征、排序特征、类别稀疏侍征、 updateinfo和1 oginfo相关的特征等,所有特征加起来将近1500维,这么多维特征一方面可能会导致维数灾难,另一方面很容易导致过拟合,需要做降维处理,降维方法赏用的有如PCA,tSNE等,这类方法的计算复杂度比较高。并且根据以往经验,在数据挖掘类的匕赛中,PCA或t-SNE效果仨往不好。除了釆用降维算法之外,也可以通过特征选择来降低特征维度。特征选择的方法很多:最大信息系数(MIC)、皮尔森相关系数(衡量变量间的线性相关性)、正则化方法(L1,L2)、基于模型的特征排序方法。比较高效的是最后一种,即基于学习模型的特征排序方法,这种方法有一个好处:模型学习的过程和特征选择的过程是同时进行的,医此我们采用这和方法,基于 boost来做特征选择, xgboost模型洲练完成后可以输岀特征的重要性(见3.3图),据此我们可以保留TopN个特征,从而达到特在选择的目的。
    2020-06-23下载
    积分:1
  • 696516资源总数
  • 106914会员总数
  • 0今日下载