支持向量机 邓乃扬

这本书是中科院的邓乃扬、田英杰老师所写，想要深入学习SVM相关理论和算法的同学可以看看这本书，我个人这本书非常好。数据挖掘源于数据库技术引发的海量数据和人们利用这些数据的愿望.用数据管理系统存储数据,用机器学习约方法分析数据、挖掘海量数据背片的知识,便促成了数据挖掘( data mining的产生.慨括地讲,数据挖掘的任务是从大型数据库或数据仓库中提取人们感兴趣的、事先知的、有用的或潜在有用的信息支持向量机( suppoort vector machine.SVM是数据挖握中的项新技术,是借助于最优化方法解决机器学习问题的新工具它最初于20世纪90年代由 Vapnik提出,近年来在其理论研究和算法实方宙都取得∫突破性进,开始成为克服维数灾难”和“过学习”等传统困难的有力手段虽然它还处于飞速发展的阶段,但是它的理论基础和实现途径的基本框架已经形成。白200年开始,国外已续有几本专蓍出版.据我们所知,本是国内第一本专门对它进行全面完整介绍和论述的书籍本书王要以分类问题(模式识别,判别分析)和回归问题为背景,系统阐述支持量机和相应的最优化方法.各章的主要内容如下:第1章介纲最优化问题及其基本理论.第2章对分类闻题和回归问题直观地导出最基本的支持向量机.第3章介绍核的理论,这是推广基本的支持向量机的关键,也是通过线性问题求解非线性问题的基础.第4章介绍统计学习理论,讨论支浡向量机的统计学理论基狲第5章和第6章分别详细研究支持向量分类机和支持向量回U机.第7章介绍实现支持向量机的最优化算法.第8章讨论支持向量机的应用,包括解决实际问题时的一些处理方法和一些应用实例本书包括了我们自己的研究工作例如,在做为支持向量机基础的原始问题和对偶间题解的关系上,我们发现,当前文献的论述存在着逻辑上的缺陷本书第次在完严密的逻辑基础上完善了各种支持向量机中的最优化问题的理论体系此外,作为求解支持向量机中优化问题的方法,本书介绍了我们自已的研究成果如处理大型问题的 Newton-PCG型算法.另外还立说明,本书还包含了我们讨论班成员的若干研究工作本书所设定的读者包括关心理论与应用两方面的人土,对于支持向量机的理论,4有系统而严谨的论述;作为使用支持向量机的入「,有直观的谎明.实际上我们特别强调该书的叮读性,强调崑观对理解问题实质的重要作用.我们通常总是首先用图像等直观手段引进各种概含、方法和结论,并特别注意对它们的本质给予形象的解释和说明,最后给出其严格证明.仅仅关心实际应用的读者,略去这些证明以及若于理论结论,仍可以对所介绍的方法的本质有一个概括的理解本书对有关领域具有高等数学知识的实际下作者是一本实用读物.我们希望本书的出版,能普及和推广支持向量机在多种宴际领域中的应用,也能促进我对支捋向量机的深入研究,特别是促进优化界朋友们的关心与参与本书得以出版,我们要感谢中国科学院科学出版基金和华夏英才基金的资助,冋时乜要感谢十国农业大学各级領导的支持利重点课程建设的资助.本书已被选为中国衣业大学研究生系列教材,我们还要感谢国家自然科学甚金多年来对我们研究工作的资助.本书作者曾致力于最优化方法的饼究多年,儿年前片始组线和领导讨沦班,学与研究数据挖掘利支持向螳柷.除本书位作耆外,讨论班的成以还有上来生教投、薛毅教授、钟萍剴教授、经玲舭教授、张春华、杨志民、刘广利、苏时光等多入,狂这里我们要将别感谢钏萍副教授和张春华.比外,我们还要媵谢刘宝光和张建中两位教授以及梁玉梅、张梅梅两位同学,他们都对本书提供了帮助臼于作者水平所限,书中难免有不要之处,欢迎读者批评指正符号表R实数集合R绁欧氏字间LEi, g洲冻点T={(x1,w)…,(x,y)}训练集洲练点个数输入空间输出空阊x洲练点所仁空间(X×y)练集所在竿间输入向量(输人广模式问量x的第个分量Hilbert空间中的向量x向量x的第个分量输出指标(输出)与的内积?内积空间, Hilbert空间={:1,…,xt输入空间中的个点组成的集合2={xHilber空间中的l个点组成的集合d输人空间到 Silbert空间的映射权向量权向量u的第分量Hi]bert空间中的权向量权向量w的第个分量b网值Co凸壳sang符号函效k(I核函数核矩阵〔Gram矩阵Fp-范数2-范数hv维惩罚参数收缩壳的参数白蚣对数pe底为2的对数将号表松弛变量松弛变量的第x个分量间隔对偶变量, Lagrange乘子寸偶变量的第i个分量通常获示概率分布概率百录序言符号表第1章最优化问题及其基本理论…l■1口■■會■■■■血PPP中11最优化问题1,1,1最优化问题实例1.12最优化问题1.1.3凸最优化12最优生条件1512上无约束问题的最优性条件122约束问题的最优性彖件181.3对偶理论∴131最大最小对偶132 Lagrange对偶■■q381,4注记参考文献…4了第2章求解分类问题和回归问题的宜观途径21分类问题的提出19211例子(心脏病诊断〕4921.2分类问题和分类学习机22线性分类学习机53221线性可分问题的线性分划222近似线性可分闻题的线性分划2.3支持向量分类机…231从性分划到二次分划23.2二次分划算法的简化74233非缓性分划的基本途径24线性回归学习机n+“dk+■啬啬■■■■■F番24.1回归问题242线性回归问题与硬E-带超平面243硬E-芾超平面的构造244硬s-#超平面的推36245线性支持向量回止机25支持向量归机26注记9参考文献第3章核31带述相似性的工具—内积963⊥.1直观的相似程度与内积312支持向量分类机中的相似与内积,983.1.核函数的选取9832考项式空间和多听式核32.1有序单项式空间32.2元序单项式空间1323 FIlbert空间与多项式核函教10433 Mercer核·…··105331半正定矩阵的特征展开15332 Mercer定理与 Mercer核10g34正定核1123.41正定核的必要条件·…·113342正定核的充分条件113343正定核的特征344再生核lber空间11634.5正定核与 MMercer核的关系…73.5核的构造…··11了3.51核的构造原则,·117352落用的几种核函数j2036注记…··:122参考文献123第4章推广能力的理论估计41失函数和期望风险1254.11概率分布125412损失函數413期胡凤险……13242求解分类问题的一种途径和-个算法模型136421分类问题的一个自然的数学提法1:f422求解分类问题的途径141423-个学习算法4.3VC雏44学」算法在概率意义下的近似正确性14G45一致性概念和关键定理日录16结构风险最小化,,,,1524了甚于问隔的推广估计15448注记∵■■■参考文献(2第5章分类问题…51最大间隔原则51.1绒性叮分问题的最大河隔原则52扰动意义下的几何解释■■152找性可分支持向量分类机6i6521线性可分问题的规范超平面522原始最优化问题…523对偶问题及其与原始问题的关系69524线性可分支持向量分类机及其理论基础I7353线性支持向量分类机l7生531原始问题17生532对偶问题及其与原始问题的关系179533线性支持向量分关机及其理论基础l83534支持向量1854支持向量分类机186541可分支持向量分类机…16542支持向量分米机55-支持向量分类机(-SVC)5【-线性支持向量分类机的原始最优化间题552v线性支持向量分类机的对偶问题及其与原始向题的关系553-支持向量分类机然挖554-支持向量分类机的性质指56-支持向量分类机(v-sV)和-支持向量分类机(C-SVC)的关系206561主要结论2郑6562丰要结论的证明57多类分类问题21457.1类对余类215572成对分类2]7573纠错输出编码方法2]8574确定名类目标函数方法218个何子59注记221目录参考文献P「q「第6章回归佔计61回归问题■■■224611可归叵题的难点61.2回归间题的数学提法■1L■…….2266上3不敏感掘失函数22562E-支持向量回归机…….…::,·226.2硬∈带支持向量回机228622从线性6-支持向最回归机到E·支持向量回归机2:363·支持向量回归机··24563L原始最优化问题……·245632对個问题及其与原始问题的关系…,·2486.33-支持向量国归机252634-支持向量回归机的性质25生64E-支持向量回归机(esVR)与p支持向量回妇机{u-SvR的关系641主要结论啁E562主要结论的证明…,2565其他形式的支持向量回归机259G1支持向最回归机的线性规划形式65.2E-带为任意形状的支持向量回归机26266其他形式的损失函数26467一些例子26867l维回归问趣672二维回归间题27068注记■■■司司■卩4■272参考文献血·“·第7章算法71元约束问题解法…2747⊥1无约束问鹎提法记74712基本无约束问题算法…·277713牛顿条件颓优共把梯度法( Newton-PCG算法)29472内点算法21线性规划的原仿射尺度法722线性规划的原-对偶算法723凸二次规划的仿射灵度法724凸二次规划的原-对偶算法P