支持向量机 邓乃扬
这本书是中科院的邓乃扬、田英杰老师所写，想要深入学习SVM相关理论和算法的同学可以看看这本书，我个人这本书非常好。数据挖掘源于数据库技术引发的海量数据和人们利用这些数据的愿望.用数据管理系统存储数据,用机器学习约方法分析数据、挖掘海量数据背片的知识,便促成了数据挖掘( data mining的产生.慨括地讲,数据挖掘的任务是从大型数据库或数据仓库中提取人们感兴趣的、事先知的、有用的或潜在有用的信息支持向量机( suppoort vector machine.SVM是数据挖握中的项新技术,是借助于最优化方法解决机器学习问题的新工具它最初于20世纪90年代由 Vapnik提出,近年来在其理论研究和算法实方宙都取得∫突破性进,开始成为克服维数灾难”和“过学习”等传统困难的有力手段虽然它还处于飞速发展的阶段,但是它的理论基础和实现途径的基本框架已经形成。白200年开始,国外已续有几本专蓍出版.据我们所知,本是国内第一本专门对它进行全面完整介绍和论述的书籍本书王要以分类问题(模式识别,判别分析)和回归问题为背景,系统阐述支持量机和相应的最优化方法.各章的主要内容如下:第1章介纲最优化问题及其基本理论.第2章对分类闻题和回归问题直观地导出最基本的支持向量机.第3章介绍核的理论,这是推广基本的支持向量机的关键,也是通过线性问题求解非线性问题的基础.第4章介绍统计学习理论,讨论支浡向量机的统计学理论基狲第5章和第6章分别详细研究支持向量分类机和支持向量回U机.第7章介绍实现支持向量机的最优化算法.第8章讨论支持向量机的应用,包括解决实际问题时的一些处理方法和一些应用实例本书包括了我们自己的研究工作例如,在做为支持向量机基础的原始问题和对偶间题解的关系上,我们发现,当前文献的论述存在着逻辑上的缺陷本书第次在完严密的逻辑基础上完善了各种支持向量机中的最优化问题的理论体系此外,作为求解支持向量机中优化问题的方法,本书介绍了我们自已的研究成果如处理大型问题的 Newton-PCG型算法.另外还立说明,本书还包含了我们讨论班成员的若干研究工作本书所设定的读者包括关心理论与应用两方面的人土,对于支持向量机的理论,4有系统而严谨的论述;作为使用支持向量机的入「,有直观的谎明.实际上我们特别强调该书的叮读性,强调崑观对理解问题实质的重要作用.我们通常总是首先用图像等直观手段引进各种概含、方法和结论,并特别注意对它们的本质给予形象的解释和说明,最后给出其严格证明.仅仅关心实际应用的读者,略去这些证明以及若于理论结论,仍可以对所介绍的方法的本质有一个概括的理解本书对有关领域具有高等数学知识的实际下作者是一本实用读物.我们希望本书的出版,能普及和推广支持向量机在多种宴际领域中的应用,也能促进我对支捋向量机的深入研究,特别是促进优化界朋友们的关心与参与本书得以出版,我们要感谢中国科学院科学出版基金和华夏英才基金的资助,冋时乜要感谢十国农业大学各级領导的支持利重点课程建设的资助.本书已被选为中国衣业大学研究生系列教材,我们还要感谢国家自然科学甚金多年来对我们研究工作的资助.本书作者曾致力于最优化方法的饼究多年,儿年前片始组线和领导讨沦班,学与研究数据挖掘利支持向螳柷.除本书位作耆外,讨论班的成以还有上来生教投、薛毅教授、钟萍剴教授、经玲舭教授、张春华、杨志民、刘广利、苏时光等多入,狂这里我们要将别感谢钏萍副教授和张春华.比外,我们还要媵谢刘宝光和张建中两位教授以及梁玉梅、张梅梅两位同学,他们都对本书提供了帮助臼于作者水平所限,书中难免有不要之处,欢迎读者批评指正符号表R实数集合R绁欧氏字间LEi, g洲冻点T={(x1,w)…,(x,y)}训练集洲练点个数输入空间输出空阊x洲练点所仁空间(X×y)练集所在竿间输入向量(输人广模式问量x的第个分量Hilbert空间中的向量x向量x的第个分量输出指标(输出)与的内积?内积空间, Hilbert空间={:1,…,xt输入空间中的个点组成的集合2={xHilber空间中的l个点组成的集合d输人空间到 Silbert空间的映射权向量权向量u的第分量Hi]bert空间中的权向量权向量w的第个分量b网值Co凸壳sang符号函效k(I核函数核矩阵〔Gram矩阵Fp-范数2-范数hv维惩罚参数收缩壳的参数白蚣对数pe底为2的对数将号表松弛变量松弛变量的第x个分量间隔对偶变量, Lagrange乘子寸偶变量的第i个分量通常获示概率分布概率百录序言符号表第1章最优化问题及其基本理论…l■1口■■會■■■■血PPP中11最优化问题1,1,1最优化问题实例1.12最优化问题1.1.3凸最优化12最优生条件1512上无约束问题的最优性条件122约束问题的最优性彖件181.3对偶理论∴131最大最小对偶132 Lagrange对偶■■q381,4注记参考文献…4了第2章求解分类问题和回归问题的宜观途径21分类问题的提出19211例子(心脏病诊断〕4921.2分类问题和分类学习机22线性分类学习机53221线性可分问题的线性分划222近似线性可分闻题的线性分划2.3支持向量分类机…231从性分划到二次分划23.2二次分划算法的简化74233非缓性分划的基本途径24线性回归学习机n+“dk+■啬啬■■■■■F番24.1回归问题242线性回归问题与硬E-带超平面243硬E-芾超平面的构造244硬s-#超平面的推36245线性支持向量回止机25支持向量归机26注记9参考文献第3章核31带述相似性的工具—内积963⊥.1直观的相似程度与内积312支持向量分类机中的相似与内积,983.1.核函数的选取9832考项式空间和多听式核32.1有序单项式空间32.2元序单项式空间1323 FIlbert空间与多项式核函教10433 Mercer核·…··105331半正定矩阵的特征展开15332 Mercer定理与 Mercer核10g34正定核1123.41正定核的必要条件·…·113342正定核的充分条件113343正定核的特征344再生核lber空间11634.5正定核与 MMercer核的关系…73.5核的构造…··11了3.51核的构造原则,·117352落用的几种核函数j2036注记…··:122参考文献123第4章推广能力的理论估计41失函数和期望风险1254.11概率分布125412损失函數413期胡凤险……13242求解分类问题的一种途径和-个算法模型136421分类问题的一个自然的数学提法1:f422求解分类问题的途径141423-个学习算法4.3VC雏44学」算法在概率意义下的近似正确性14G45一致性概念和关键定理日录16结构风险最小化,,,,1524了甚于问隔的推广估计15448注记∵■■■参考文献(2第5章分类问题…51最大间隔原则51.1绒性叮分问题的最大河隔原则52扰动意义下的几何解释■■152找性可分支持向量分类机6i6521线性可分问题的规范超平面522原始最优化问题…523对偶问题及其与原始问题的关系69524线性可分支持向量分类机及其理论基础I7353线性支持向量分类机l7生531原始问题17生532对偶问题及其与原始问题的关系179533线性支持向量分关机及其理论基础l83534支持向量1854支持向量分类机186541可分支持向量分类机…16542支持向量分米机55-支持向量分类机(-SVC)5【-线性支持向量分类机的原始最优化间题552v线性支持向量分类机的对偶问题及其与原始向题的关系553-支持向量分类机然挖554-支持向量分类机的性质指56-支持向量分类机(v-sV)和-支持向量分类机(C-SVC)的关系206561主要结论2郑6562丰要结论的证明57多类分类问题21457.1类对余类215572成对分类2]7573纠错输出编码方法2]8574确定名类目标函数方法218个何子59注记221目录参考文献P「q「第6章回归佔计61回归问题■■■224611可归叵题的难点61.2回归间题的数学提法■1L■…….2266上3不敏感掘失函数22562E-支持向量回归机…….…::,·226.2硬∈带支持向量回机228622从线性6-支持向最回归机到E·支持向量回归机2:363·支持向量回归机··24563L原始最优化问题……·245632对個问题及其与原始问题的关系…,·2486.33-支持向量国归机252634-支持向量回归机的性质25生64E-支持向量回归机(esVR)与p支持向量回妇机{u-SvR的关系641主要结论啁E562主要结论的证明…,2565其他形式的支持向量回归机259G1支持向最回归机的线性规划形式65.2E-带为任意形状的支持向量回归机26266其他形式的损失函数26467一些例子26867l维回归问趣672二维回归间题27068注记■■■司司■卩4■272参考文献血·“·第7章算法71元约束问题解法…2747⊥1无约束问鹎提法记74712基本无约束问题算法…·277713牛顿条件颓优共把梯度法( Newton-PCG算法)29472内点算法21线性规划的原仿射尺度法722线性规划的原-对偶算法723凸二次规划的仿射灵度法724凸二次规划的原-对偶算法P
- 2021-05-06下载
- 积分：1
自适应滤波器设计及Matlab实现
简单描述自适应滤波的原理及在MATLAB中实现的方法，并辅以相关MATLAB代码供大家交流。1绪论11引言人类传递信息的主要媒介是语言和图像。据统计,在人类接受的信息中,听觉信息占20%,视觉信息占60%,其它如味觉、触觉、嗅觉总的加起来不过占20%,所以图像信息是十分重要的信息。然而,在图像的获取和图像信号的传输过程中,图像信号中不可避免的混入各种各样的随机噪声,造成图像失真(图像退化)。造成人类所获取的信息和实际是有偏差的,成为人类从外界获取准确信息的障碍。因此,对图像信号中的随杋噪声的抑制处理是图像处理中非常重要的一项工作在图像的获取和传输过程中所混入的噪声,主要来源于通信系统中的各种各样的噪声,根据通信原理及统计方面的知识,可以知道在通信系统中所遇到的信号和噪声,大多数均可视为平稳的随机过稈。又有“高斯过程又称正态随机过程,它是一种普遍存在和重要的随机过程,在通信信道中的噪声,通常是一种高斯过程,故又称高斯噪声。囚此,在大多薮的情况下,我们可以把造成图像失真的噪声可视为广义平稳高斯过程本文针对图像信号中混入的随机噪声,在怎样把现有的滤波算法应用到实际的图像复原中去的问题上提出了解决方法,并且应用 Matlab软件编程对图像进行处理。1.2研究目标及现状121图像复原技术的目标为了从含有噪声的数据中提取我们所感兴趣的、接近规定质量的图像,我们需要设计个系统满足:当信号与噪声同时输入吋,在输出端能将信号尽可能精确地重现出来,而噪声却受到最大抑制,即最佳滤波器。122图像复原抆术的研究现状日前的图像复原技术,即去噪的滤波技术可以分为两大类:传统滤波和现代滤波。传统滤波技术是建立在已知有用信号和干扰噪声的统计特性(自相关函数或功率谱)基础上的噪声去除;现代滤波技术则是不需要知道图像的先验知识,只是根据观测数据,即可对噪声进行有效滤除。早在20世纪40年代,就对平稳随机信号建立了维纳滤波理论。根据有用信号和干扰噪声的统计特性(自相关函数或功率谱),以线性最小均方误差(MSE)估计准则所设计的最佳滤波器,称为维纳滤波器。这种滤汲器能最大程度的滤除干扰噪声,提取有用信号。但是,当输入信号的统计特性偏离设计条件,则它就不再是最佳的了,这在实际应用中受到了限制。到60年代初,由于空间技术的发展,出现了卡尔曼滤波理论,即利用状态变量模型对非平稳、多输入多输出随机序列作最优估计。卡尔曼滤波器既可以对平稳的和平稳的随机信号作线性最佳滤波,也可以作为非线性滤波[2]。然而只有在对信号和噪声的统计特性已知的情况下,这两种滤波器才能获得最优解。在实际的应用中,往往无法得到这些统计特性的完验知识,或者统计特性是随时间变化的,因此,这两种滤波器就实现不了真正的最佳滤波。Widrow B.和Hof于1967年提出的自适应滤波理论,可使在设计自适应滤波器时不需要事先知道关于输入信号和噪声的统计特性的知识,它能够在自己的工作过程中逐渐估计出所需的统计特性,并以此为依据自动调整自己的参数,以达到最佳滤波效果。一旦输入信号的统计特性发生变化,它又能够跟踪这种变化,自动调整参数,使滤波器性能重新达到最佳。自适应滤波器自动调节参数可以通过各和不同的递推算法来实现,由于它采用的是逼近的算法,使得实际估计值和理论值之间必然存在差距,也就造成了自适应滤波问题没有唯一的解。依照各种递推算法的特点,我们把它应用于不同的场合。现在广为应用的自适应滤波方法主要是基于以下几种基本理论,再融合递推算法导出来的:(1)基于维纳滤波理论的方法维纳滤波是在最小均方误差准则下通过求解维纳霍夫方程来解决线性最优滤波问题的。基于维纳滤波原理,我们利用相关的瞬时值通过在工作过程中的逐步调整参数逼近信号的统计特性,实现最优滤波。由此,我们得到一种最常用的算法—最小均方算法,简称LMS算法。(2)基于卡尔曼滤波理论的方法卡尔曼滤波是线性无偏最小方差滤波递推滤波,它能使滤波器工作在平稳的或非平稳的环境,得到最优解。利用卡尔曼滤波理论的递推求解法导出自适应滤波器更新权矢量得不同递推算法。比LMS算法有极快的收敛速率,可是计算复杂度也增大∫,它需要计算卡尔曼矩阵。(3)基于最小二乘准则的方法维纳滤波和卡尔曼滤波推导的算法是基于统计概念的,而最小二乘佔计算法是以最小误差平方和为优化目标的。根据滤波器的实现结构,有以下3种不同的最小二乘自适应滤波算法:自适应递归最小二乘法(RLS),自适应最小二乘格型算法,QR分解最小二乘算法。(4)基于神经网络理论的方法神经网络是有大量的神经元相互连接而成的网络系统,实质上它是一个高度非线性的动力学网络系统,这个系统具有很强的自适应、自学习、自组织能力,以及巨量并行性、容错性和坚韧性,因而,它可以做很多传统的信号和信息处理技术所不能做的事情。因其超强的自动调节能力,使符它在自适应信号处理方面有着广阔的前景[2]在一系列的自适应算法中,虽然基于后面3种基本理论的方法在收敛速率和稳定、坚韧性方面有着更好的性能,但是,基于维纳滤波理论的IMS算法因其算法简单,而且能达到满意的性能,得到了青睐,成为了应用最广泛的自适应算法。为此,本文主要研究LMS自适应滤波器在图像去噪方面的应用。2理论基础21基本自适应滤波器的模块结构自适应滤波器通常由两部分构成,其一是滤波子系统,根据它所要处理的功能而往往有同的结构形式。另一是自适应算法部分,用来调整滤波子系统结构的参数,或滤波系数。在自适应调整滤波系数的过程中,有不同的准则和算法算法是指调整自适应滤波系数的步骤,以达到在所描述的准则下的误差最小化。自适应滤波器含有两个过程,即自适应过程和滤波过程。前一过程的基本目标是词节滤波系数"(),使得有意义的目标函数或代价函数()最小化,滤波器输出信号y()逐步逼近所期望的参考信号4k),由两者之间的误差信号(k)驱动某种算法对滤波系数进行调整,使得滤波器处于最佳工作状态以实现滤波过程。所以自适应过程是一个闭合的反馈环,算法决定了这个闭合环路的自适应过程所需要的时间。但是,由于目标函数)是输入信号(k),参考信号(k)及输出信号y(k)的函数,即20=ack,.y,因此目标函数必须具有以下两个性质(1)非负性g (=8[x(k), d(k), y(k] 20Vx(), u(k), y(k)(2.1)(2)最佳性E()=E[x(k),d(k),y(k)]=0(22在自适应过程中,自适应算法逐步使目标函数(最小化,最终使()逼近于(),滤波参数或权系数()收敛于",这里"是自适应滤波系数的最优解即维纳解。因此,自适应过程也是自适应滤波器的最佳线性估计的过程,既要估计滤波器能实现期望信号()的整个过程,又要估计滤波权系数以进行有利于主要目标方向的调整。这些估计过程是以连续的时变形式进行的,这就是自适应滤波器需要有的自适应收敛过程。如何缩短自适应收敛过程所需要的收敛时间,这个与算法和结构有关的问题时人们一直重视研究的问题之—[2]。当然滤波子系统在整个自适应滤波器的设计中也占有很重要的地位,因为它对最终的滤波性能有很大的影响。本文要研究的是基于维纳滤波原理的LMS算法,那么下面我们需要介绍一下基本维纳滤波原理。22基本维纳滤波原理基本维纳滤波就是用来解决从噪声中提取信号问题的一种过滤(或滤波)方法。它基于平稳随机过程模型,且假设退化模型为线性空间不变系统的。实际上这种线性滤波间题,可以看成是种估计问题或种线性佔计问题。基本的维纳滤波是根据全部过去的和当前的观察数据来估计信号的当前值,它的解是以均方误差最小条件下所得到的系统的传递函数万(3)或单位样本响应h(k)的形式给出的,因此更常称这种系统为最住线性过滤器或滤波器。设计维纳滤波器的过程就是寻求在最小均方误差下滤波器的单位样本响应h(k)或传递函数h(x)的表达式,其实质是解维纳-霍大( Wiener-Hopf方程。基木维纳滤波器是这样的,有两个信号x(k)和y(k)同时加在滤波器上。典型地y(k)包含一个与x(k)相关地分量和另一个与x(k)个相关地分量。维纳滤波器则产生y(k)中与x(k)相关分量地最优估计,再从y(k)中减去它就得到ε(k)。y(kak)输出rk)维纳德波n=∑v(D)x(k-)f=0图21基本维纳滤被模型假定一个N个系数(权值)的FR滤波器的结构,维纳滤波和原始信号y(k)之间的差信号c(k)为ek= yk-nk=ye∑w(i)x(23)其中和w分别为输入信号矢量和权矢量,由下式确定(24)k-N-1)H(N-1)误差平方为2Y, x,w+w x.x,w对(3)式两边取期望得到均方误差(MSE),若输入x(k)与输出yk)是联合平稳的,则ELel=Ely,-2ELYXiwItElwx, x, w2.62P其中E[代表期望,=Ex是(k)的方差,P=E[yx1是长度为N地互相关矢量,R=Exx是NxN的自相矩阵。一个MSE滤波系数的图形是碗形地,且只有唯一地底部,这个图称为性能曲面,它是非负的。性能曲面地梯度可由下式给出2P+2R(2.7)Ytrim图22误差性能曲面每组系数w(i)(i=1,2,N-1)对应曲面是一点,在由面是地最小点梯度为0滤波权矢量达到最优”呷R P(28)即著名的维纳霍夫方稈的解。自适应滤波地仟条是采用合适的算法来调节滤波权重W,0)W,1),…W,N-1),从而找到性能曲面地最优点维纳滤波的实际用途有限,因为:(1)它需要已知自相关矩阵R和可相关矢量P,这两个量通常是未知的。(2)它包含∫矩阵的求逆,非常的耗时3)若信号为非平稳的,则R和P是时变的,导致必需重复计算。对于实际的应用需要一种能够依次加入地抽样点而得到"的算法。自适应算法就就是用于达到这个目的,而且不需显式计算R和P或进行矩阵求逆[3]3自适应滤波原理及算法在实际应用中常常会遇到这样的情况:随机信号的统计特性是未知的,或者信号的统计特性是缓慢的变化着的(非≯稳信号),这就促使人们去研究一类特殊的滤波器,这类滤波器具有以下特点:当输入过程的统计特性未知时,或者输入过程的统计特性变化时,能够相应的调整自身的参数,以满足某种准则的要求,由于这类滤波器能变动自身的参数以“适应”输入过程统计特性的估计或变化,因此,就把这类滤波器称为自适应滤波器41。在本文中我们研究的是退化图像复原的问题,由于图像自身的多样性和所混入的噪声的随机性和多样性,我们选择自适应滤波取出图像中混入的噪声。3.1横向滤波结构的最陡下降算法3.11最陡下降算法的原理首先考虑如下图所示的横向FIR自适应滤波器x(k-1k-2)x、-M+2)xR-M+l)e自适应控制算法1图31自适应横向滤波器结构它的输入序列以向量的形式记为X(k)=[x(k)x(k-1)(k-M+1)(3.1假设x()取自一均值为零,自相关矩阵为R的广义平稳随机过程,而滤波器的系数矢量(加权矢量)为:k)=[w,(k)w2(k)(32)以上二式中括号内的k为时间指数,因此,X()和W()分别表示时刻k的滤波器输入序列和加权值,滤波器的输山y(k)为:y(k)=∑w(n)x(n-t+1)33)式中M为滤波器的长度。图31中的“k称为“期望理想响应信号”,有时也可称为“训练信号”,它决定了设计最佳滤波器加权向量W(k)的取值方向。在实际应用中,通常用一路参考信号来作为期望响应信号。(k)是滤波器输出y(k)相对于a(k)的误差,即e(k)=d(k)-v(h)(34)显然,自适应滤波控制机理是用误差序列(k按照某种准则和算法对其系数w)n),=1.2…,M进行调节的,最终使自适应滤波的目标(代价)函数最小化,达到最佳滤波状态。按照均方误差(MSE)准则所定义得目标函数是E(h)=Ele()(35)eId()-2d(k)y(k)+y(k)将式(3.4)代入式(3.5),目标函数可以化为c(k)=Ele(k)(3.6)E[d(k)]-2Eld(kw(k)x(k]+ elw(kX(eX(s)w(k)当滤波系数固定时,目标函数又可以写为c(k=[d(k]-2W(k)P+W(k)RW (k)(3.7)其中,P-趴是长度为N的期望信号与输入信号的互相关矢量,R=Exx是Nx的输入向量得自相关矩阵。由式(37)可见,自适应滤波器的目标函数()是延迟线抽头系数(加权或滤波系数)的二次函数。当矩阵R和矢量P已知时,可以由权矢量W(k)直接求其解。现在我们将式(3.7)对W求倒数,并令其等于零,同时假设R是非奇异的,由此可以得到目标函数最小的最佳滤波系数w为R P(38)
- 2020-11-28下载
- 积分：1
