支持向量机 邓乃扬
这本书是中科院的邓乃扬、田英杰老师所写,想要深入学习SVM相关理论和算法的同学可以看看这本书,我个人这本书非常好。数据挖掘源于数据库技术引发的海量数据和人们利用这些数据的愿望.用数据管理系统存储数据,用机器学习约方法分析数据、挖掘海量数据背片的知识,便促成了数据挖掘( data mining的产生.慨括地讲,数据挖掘的任务是从大型数据库或数据仓库中提取人们感兴趣的、事先知的、有用的或潜在有用的信息支持向量机( suppoort vector machine.SVM是数据挖握中的项新技术,是借助于最优化方法解决机器学习问题的新工具它最初于20世纪90年代由 Vapnik提出,近年来在其理论研究和算法实方宙都取得∫突破性进,开始成为克服维数灾难”和“过学习”等传统困难的有力手段虽然它还处于飞速发展的阶段,但是它的理论基础和实现途径的基本框架已经形成。白200年开始,国外已续有几本专蓍出版.据我们所知,本是国内第一本专门对它进行全面完整介绍和论述的书籍本书王要以分类问题(模式识别,判别分析)和回归问题为背景,系统阐述支持量机和相应的最优化方法.各章的主要内容如下:第1章介纲最优化问题及其基本理论.第2章对分类闻题和回归问题直观地导出最基本的支持向量机.第3章介绍核的理论,这是推广基本的支持向量机的关键,也是通过线性问题求解非线性问题的基础.第4章介绍统计学习理论,讨论支浡向量机的统计学理论基狲第5章和第6章分别详细研究支持向量分类机和支持向量回U机.第7章介绍实现支持向量机的最优化算法.第8章讨论支持向量机的应用,包括解决实际问题时的一些处理方法和一些应用实例本书包括了我们自己的研究工作例如,在做为支持向量机基础的原始问题和对偶间题解的关系上,我们发现,当前文献的论述存在着逻辑上的缺陷本书第次在完严密的逻辑基础上完善了各种支持向量机中的最优化问题的理论体系此外,作为求解支持向量机中优化问题的方法,本书介绍了我们自已的研究成果如处理大型问题的 Newton-PCG型算法.另外还立说明,本书还包含了我们讨论班成员的若干研究工作本书所设定的读者包括关心理论与应用两方面的人土,对于支持向量机的理论,4有系统而严谨的论述;作为使用支持向量机的入「,有直观的谎明.实际上我们特别强调该书的叮读性,强调崑观对理解问题实质的重要作用.我们通常总是首先用图像等直观手段引进各种概含、方法和结论,并特别注意对它们的本质给予形象的解释和说明,最后给出其严格证明.仅仅关心实际应用的读者,略去这些证明以及若于理论结论,仍可以对所介绍的方法的本质有一个概括的理解本书对有关领域具有高等数学知识的实际下作者是一本实用读物.我们希望本书的出版,能普及和推广支持向量机在多种宴际领域中的应用,也能促进我对支捋向量机的深入研究,特别是促进优化界朋友们的关心与参与本书得以出版,我们要感谢中国科学院科学出版基金和华夏英才基金的资助,冋时乜要感谢十国农业大学各级領导的支持利重点课程建设的资助.本书已被选为中国衣业大学研究生系列教材,我们还要感谢国家自然科学甚金多年来对我们研究工作的资助.本书作者曾致力于最优化方法的饼究多年,儿年前片始组线和领导讨沦班,学与研究数据挖掘利支持向螳柷.除本书位作耆外,讨论班的成以还有上来生教投、薛毅教授、钟萍剴教授、经玲舭教授、张春华、杨志民、刘广利、苏时光等多入,狂这里我们要将别感谢钏萍副教授和张春华.比外,我们还要媵谢刘宝光和张建中两位教授以及梁玉梅、张梅梅两位同学,他们都对本书提供了帮助臼于作者水平所限,书中难免有不要之处,欢迎读者批评指正符号表R实数集合R绁欧氏字间LEi, g洲冻点T={(x1,w)…,(x,y)}训练集洲练点个数输入空间输出空阊x洲练点所仁空间(X×y)练集所在竿间输入向量(输人广模式问量x的第个分量Hilbert空间中的向量x向量x的第个分量输出指标(输出)与的内积?内积空间, Hilbert空间={:1,…,xt输入空间中的个点组成的集合2={xHilber空间中的l个点组成的集合d输人空间到 Silbert空间的映射权向量权向量u的第分量Hi]bert空间中的权向量权向量w的第个分量b网值Co凸壳sang符号函效k(I核函数核矩阵〔Gram矩阵Fp-范数2-范数hv维惩罚参数收缩壳的参数白蚣对数pe底为2的对数将号表松弛变量松弛变量的第x个分量间隔对偶变量, Lagrange乘子寸偶变量的第i个分量通常获示概率分布概率百录序言符号表第1章最优化问题及其基本理论…l■1口■■會■■■■血PPP中11最优化问题1,1,1最优化问题实例1.12最优化问题1.1.3凸最优化12最优生条件1512上无约束问题的最优性条件122约束问题的最优性彖件181.3对偶理论∴131最大最小对偶132 Lagrange对偶■■q381,4注记参考文献…4了第2章求解分类问题和回归问题的宜观途径21分类问题的提出19211例子(心脏病诊断〕4921.2分类问题和分类学习机22线性分类学习机53221线性可分问题的线性分划222近似线性可分闻题的线性分划2.3支持向量分类机…231从性分划到二次分划23.2二次分划算法的简化74233非缓性分划的基本途径24线性回归学习机n+“dk+■啬啬■■■■■F番24.1回归问题242线性回归问题与硬E-带超平面243硬E-芾超平面的构造244硬s-#超平面的推36245线性支持向量回止机25支持向量归机26注记9参考文献第3章核31带述相似性的工具—内积963⊥.1直观的相似程度与内积312支持向量分类机中的相似与内积,983.1.核函数的选取9832考项式空间和多听式核32.1有序单项式空间32.2元序单项式空间1323 FIlbert空间与多项式核函教10433 Mercer核·…··105331半正定矩阵的特征展开15332 Mercer定理与 Mercer核10g34正定核1123.41正定核的必要条件·…·113342正定核的充分条件113343正定核的特征344再生核lber空间11634.5正定核与 MMercer核的关系…73.5核的构造…··11了3.51核的构造原则,·117352落用的几种核函数j2036注记…··:122参考文献123第4章推广能力的理论估计41失函数和期望风险1254.11概率分布125412损失函數413期胡凤险……13242求解分类问题的一种途径和-个算法模型136421分类问题的一个自然的数学提法1:f422求解分类问题的途径141423-个学习算法4.3VC雏44学」算法在概率意义下的近似正确性14G45一致性概念和关键定理日录16结构风险最小化,,,,1524了甚于问隔的推广估计15448注记∵■■■参考文献(2第5章分类问题…51最大间隔原则51.1绒性叮分问题的最大河隔原则52扰动意义下的几何解释■■152找性可分支持向量分类机6i6521线性可分问题的规范超平面522原始最优化问题…523对偶问题及其与原始问题的关系69524线性可分支持向量分类机及其理论基础I7353线性支持向量分类机l7生531原始问题17生532对偶问题及其与原始问题的关系179533线性支持向量分关机及其理论基础l83534支持向量1854支持向量分类机186541可分支持向量分类机…16542支持向量分米机55-支持向量分类机(-SVC)5【-线性支持向量分类机的原始最优化间题552v线性支持向量分类机的对偶问题及其与原始向题的关系553-支持向量分类机然挖554-支持向量分类机的性质指56-支持向量分类机(v-sV)和-支持向量分类机(C-SVC)的关系206561主要结论2郑6562丰要结论的证明57多类分类问题21457.1类对余类215572成对分类2]7573纠错输出编码方法2]8574确定名类目标函数方法218个何子59注记221目录参考文献P「q「第6章回归佔计61回归问题■■■224611可归叵题的难点61.2回归间题的数学提法■1L■…….2266上3不敏感掘失函数22562E-支持向量回归机…….…::,·226.2硬∈带支持向量回机228622从线性6-支持向最回归机到E·支持向量回归机2:363·支持向量回归机··24563L原始最优化问题……·245632对個问题及其与原始问题的关系…,·2486.33-支持向量国归机252634-支持向量回归机的性质25生64E-支持向量回归机(esVR)与p支持向量回妇机{u-SvR的关系641主要结论啁E562主要结论的证明…,2565其他形式的支持向量回归机259G1支持向最回归机的线性规划形式65.2E-带为任意形状的支持向量回归机26266其他形式的损失函数26467一些例子26867l维回归问趣672二维回归间题27068注记■■■司司■卩4■272参考文献血·“·第7章算法71元约束问题解法…2747⊥1无约束问鹎提法记74712基本无约束问题算法…·277713牛顿条件颓优共把梯度法( Newton-PCG算法)29472内点算法21线性规划的原仿射尺度法722线性规划的原-对偶算法723凸二次规划的仿射灵度法724凸二次规划的原-对偶算法P
- 2021-05-06下载
- 积分:1
MATLAB从零到进阶
北京航空航天大学出版社出版的 MATLAB从零进阶,适合MATLAB初学者使用!MATLAB开实例系列图书MATLAB从要到进阶中些李国刘涣进天郑志勇编著内容简介本着从易到难、从基础到应用及提高的质则本书结合大量案例系统计解 MATLABT言编程要旨。主要内容包括 MATLAB简介和基本摸作绘图与可褪化,程序饭计,图形用户界面(GUD缤程数据I0(与TEx3据之间的数交换)符号计算,数值积分计算方程与方程组的数值解,常徽分方程(组)数匝求解,线性規划和非线性优化问惡求解,景大最小題求解橫率分布与随机数,描述性统计,参数估计与假设检验,归分牙多项式回归与数值, MATLABE程序译,系统级仿真工mihk反其应用等。附录为min常用命令列表。为方便读者的学习和使用,本+配有光型,答包:每一个案例的源程序,以及于教学和自学的PPT课件本书可作为-般读者自学并掌握 MATLAB语言的参考京,也可作为高等院校理工类本科生研究生系统学习 MATLAB的教材或参考书,还可作为科人和工程技术人员应用M4TL4B解决实际问题的参考用书。书在版编目(CP数据MATLAB从零到进阶/谢中华等编著-北京:北京航空航天大学出版社212.2ISEN978-7-5124-907-1.M4…且.①….Mahb件1.该书作者简介就中华,副教,资深 MATLAB培训,十多年MATLAB编程经验已出版书籍(MATA统计分析与应用:40个案倒分析)。现于天津科技大学数学系任教,长期从事MATLAB相关课程的教学与培训。精通 MATLAB、SAS、R语言等软件,擅长多种软偿协同作战,有着扎实献理沦基础和M丰富的实战经验3美原名m士业于北京厘工大应用数学系,+年 MALAB编经验,曾出版( MATLAB高效编程技巧与用:54个案例分析)受到广大该者好评,在数值计算.运第学最优化图像处理MTAB与C+混合编程领域有着三富的项目实战经验。刘进网名iai0:配文论坛饭主,山东省料学院计算中心助選研究员,工学硕士。现于合肥工业大学机与汽车工程学院机薇制及其自动化专业攻读博士学位,主要与期友茶余饭后聊天时:时常有人大发感:“现在的人是越来越离不开电了,要是没有电脑该怎么办可!”我也禁不位感慨:越来越多的人是离不开 MATLAB了,没有 MATLAB就做不成研究了。”事实的确如此,MA个TLAB已经在自然科学、社会生产和科学研究等冬领域得到了广泛的应用,它已经不再是诞生之初用于线性代裂计算的接囗程字,它就是计算软件中的巨无霰。有人在用 MATLAB作数据分折,有人在用 MATLAB作算法设计,有人在用1M0D作速模仿其还有人月8件开工我们炒股嫌钱,往大了说, MATLAB能助享专家设计尖武器。试想一下,或许几年以后,朋友之间打招呀的问候语就是:您今天 MATLAB了吗?如果到那时您还不会 MATLA,您很可能就u览0果您目前还是-个 MATLAB零基础的读者,您可不必饭,本就是专们为您准备的,它将带领您走进 MATLAB的殷堂,从人门到精通。本书编写的宗自就是引领读者从零基础人门,由浅人深地学习,先熟恐 MATLAB草稿纸式的编程语言和语法规则,让读者能够其内部数做“俊瓜式为的计算,然后慢了解 MATLAB自带的包罗万象的工县箱,在此基础上可以根据自己的算法惠练地进行扩展編程,在这个过程中,读者会在不知不觉中成为精本书内容分为2第1章, MATLAB简个第2章, MATLAB基操作;第3置,ATAB绘图与可视化,4章, MATLAB程序设计第5章,图形用户界面(GUD编:,第章MTB与TT文件的数据交换;第7章,M4BExe0文件的数据交葓;第8章数烟库连第908号计第0数值积分计第1,方程与方程组数值解第12章,学做分方程(组)数值求解:第123i,线性规划问题第14章,非线性优北问题;第15章,最大最小问题一公共设施选址;第16章,率分布与随机数;第1章描达性统计量和绕计图,第18章,参数计与假设检验第19章,回归分折第20章,多项式回归与数据插值;第21章, MATLAB序编译:第2系统级仿真工具 Simulink应用。在章顺序的安排上,我们是经过深思熟處的本着从易到难、从基础到应用及提高的原则。为了能让读者尽戴悉T.学会使用 MATLAB出自已的程序,我们把 MATLAB绘图与可视化、MTAB程序设计图形用户界面等章节放在了前而,这一点不同于一般的 MATLAB书第,根据我们的经验,从绘图开始是学习MTAB最为高效快走的方式因为各种实用的或是献忍形能够激发读者的学习兴超,有了兴通自然一切就变得简单了。另外,本书的内容力求与大学必修的高等数学、线性代数和概率论与数理统计等多门主干程相贴合,这样让读者能够理论结合实践,学习起来更为轻松。俗话说,业有专攻,多人合编也是为了发挥作者们各自的专长将各自在不同领域多年的经验和技巧率款给该者,本书谢中些主并负责统筹定,其中第1~3,6、5~0章由谢中华(网名xEh)写,第4.1012章是鹏(网名:mo:写,第5,2章由刘煥进9日第8郑间1写,第2学由李国栋(网y目录第I拿 MATLAB简介194TLAB助系统MLAB的那事儿…111ML4B命令宽口帮助系统“171.1 MATLAB的派…2Hep都助浏览器………1812MTB饭本信息…110参考文……………211238TL件的系统组成…3第2章MTAB基本操作……214MATL产构成42.1变量的定义与数据类型……2.5mhk产品成………62变量的定义与弦值………22.5 MATLAB/S mulik E应用领城2,12数据类型…23卓4·+4I数菇输出桕式↓;士12 MATLAB的安装与启动2.2常用函数…………23212LAB6安装…172.3数组算………222MATL4B的启动…82310阵的定………251.3 MATLAB工作界面…1■(4;4;22{珠矩阵………………28工作界布823高维数组·』⊥1↓卜41+iiAMATLAB从零到进33二继图形绘制,2程序没计注意喜项………12331管用二继绘图函数…………55..3程序编排与注3.2三图形的修饰和浙加注释…608参考文献…图形的打印和输出…65第享图形用户界面(U编程…125331把图形复航到贴饭……655.1图形对象2把图形导出文件51区形对象的类型1263打印图形………6952图形对象的属性35动画制作…■自》重,卡715.1.3图形对象约操作31.运行航迹动画7152图形用户界面的设计原则和步骤2红闪动画…721365.3电影动画…52.1图形用户界面设计原则…136若5.4录制A格式视频动画……45.2图形用户界面的设计步骤……136您355作GE格式动画………755.3开发图形用户界面的方法-137此35参考文献…7175.4直接编写M文件开发图形阳户1|算+章MTB程设计08界面M文一脚本文件和函数文件5:1文件类…14任Pp·丰IL丰晋中bDl↓;1b●785..2根对象…11本文件…853图形窗口对象函数文件785.4.4坐标轴对象T州世分们故中上甲
- 2021-05-06下载
- 积分:1