支持向量机
关于支持向量机里面讲核函数的，介绍了线性核函数、高斯核函数、及多项式核函数等。还介绍了核函数的判定以及Mercer定理1x1121T3212T42.3p(a)L313x2.3.32cT1V2C.223+d更一般地,核数K(x2z)=(xz+)“对应的映射后特征维度为a(求解方法参见http://zhidao.baiducom/question/16706714.html)由于计算的是内积,我们可以想到IR中的余弦相似度,如果ⅹ和z向量夹角越小,那么核函数值越大,反之,越小。因此,核函数值是(x)和(z)的相似度。再看另外一个核函数K(r, z)=expz-z|222这时,如果x和z很相近(x-2‖≈0),那么核函数值为1,如果x和z相差很大(x-2》0),那么核函数值约等于0。由于这个函数类似于高斯分布,因此称为高斯核函数,也叫做径向基函数( Radial basis function简称RBF)。它能够把原始特征映射到无穷维。既然高斯核函数能够比较ⅹ和z的相似度,并映射到0到1,回想 logistic回归, sigmoid函数可以,因此还有sigmoid核函数等等下面有张图说明在低维线性不可分时,映射到高维后就可分了,使用高斯核函数。Linear回回看目即Gaussian来自 Eric Xing的sdes注意,使用核函数后,怎么分类新来的样本呢?线性的时候我们使用SVM学与出W和b,新来样木ⅹ的话,我们使用wTx+ b来判断,如果值大于等于1,那么是正类,小于等于是负类。在两者之间,认为无法确定。如果使用了核函数后,W2x+b就变成了wφ(x)+b,是否先要找到p(x),然后再预测?答案背定不是了,找φ(x很麻烦,回想我们之前说过的wa+6=boy(0)x+bi=1(x(,x)+b只需将替换成(x,x),然后值的判断同上8核函数有效性判定问题:给定一个函数K,我们能否使用K来替代计算φ(x)2中(z),也就说,是否能够找出一个,使得对丁所有的x和z,都有k(x,2)=(x)r中(2)9比如给出了K(x,2)=(x2)2,是否能够认为K是一个有效的核函数下面来解决这个问题,给定m个训练样本全(r(3xm,每一个对应一个特征向量。那么,我们可以将(e) yJ仟意两个和带入K中,计算得到=0。I可以从1到m,j以从1到m,这样可以计算出m*m的核函数矩阵( Kernel Matrix)。为了方便,我们将核函数矩阵和(x,z)都使用K来表示如果假设K是有效地核函数,那么根据核函数定义k1=K(x0x0)=p(x()p(x0)=p(x(0)p(x()=K(x(,x)=K可见,矩阵K应该是个对称阵。让我们得出一个更强的结论,首先使用符号中x(x)来表示映射函数中(x)的第k维属性值。那么对于任意向量z,得2K2=∑∑2K3∑∑(m0y(0)2∑∑∑(z0)(x0)z∑∑∑29(x)k(z0)k i j=S|∑zipk(c(ak0.最后一步和前面计算K(x)=(x2)时类似。从这个公式我们可以看出,如果K是个有效的核函数(即K(xz)和(x)p(2)等价),那么,在训练集上得到的核函数矩阵K应该是半正定的(K≥0这样我们得到一个核函数的必要条件:K是有效的核函数==>核函数矩阵K是对称半正定的可幸的是,这个条件也是充分的,由 Mercer定理来表达。Mercer定理:如果函数K是×四→巫上的映射(也就是从两个n维向量映射到实数域)。那么如果K是一个有效核函数(也称为 Mercer核函数),那么当且仅当对于训练样例(r()x(m,其相应的核函数矩阵是对称半正定的。Mercer定理表明为了证明K是有效的核函数,那么我们不用去寻找φ,而只需要在训练集上求出各,然后判断矩阵K是否是半正定(使用左上角主子式大于等于零等方法)即可。许多其他的教科书在 Mercer定理证明过程中使用了范数和再生希尔伯特空间等概念,但在特征是n维的情况下,这里给出的证明是等价的。核函数不仅仅用在SWM上,但凡在一个模型后算法中出现了,我们都可以常使用区(xz)去替换,这可能能够很好地改善我们的算法。posted on2011-03-1820:22 Jerry Lead阅读(…)评论(…)编辑收藏刷新评论刷新页面返回顶部博客园首页博问新闻闪存程序员招聘知识库Powered by:博客园 Copyright@ Jerry Lead
- 2020-12-01下载
- 积分：1
数字信号处理C语言程序集（DSP算法大全C语言版本446页）
除掉封面，共446页，只有5.39M,但内容是最全面的，质量上也是非常清晰的。是学dsp算法的绝佳书籍，没有华丽的数学推导，简单明了，名曰数字信号处理C语言程序集，民间又称DSP算法大全C语言版本。第六章FIR数字滤波器的设计F■尋■■b■晷↓國■看↓■↓b日↓bb↓●■■22786.1窗函数方法…22?§6.2域最小误差平方设计.……238§6.3切比雪夫逼近方法…………42第三篇随机数字信号处理第一章经典谱佔计……6§11功率谱估计的周期图方法…····““甲早争·道者自自.264§1.2功率谱估计的相关方法T■冒■■■■■『曾■■詈『國昏日■■哥■订d·聊聊b■山如↓h“◆白ψp4q第二章现代谱估计………………………26821求解一般托布利兹方程组的莱文森算法■■■昏■■1冒■■看嚼司聊國司冒D■180§22求解对称正定方程组的乔里斯基算法q■ψ鲁鲁曾◆◆曾自自4鲁唱音昏鲁自■Z83§23求解尤利沃克广程的菜文森德宾算法…°P甲自287§2.4计算ARMA模型的功率谱密度§2.5尤利沃克谱佔计算法………………………………………292A2.6协力差谱估计算法…1亡■曾■■目■鲁會曾罪司罪鲁·命讠咖D■■■■b啁§2.7 Burg谱佔计算法……1■●33§2.8最大似然谱估计算法第三章时频分析·聊·即·D●b·■唱鲁·◆■申曾阜曾q俨俨■■中個◆314§3.1维格纳( Wigner)分布·“314§32离散小波变换r""t31第四章随机信号的数字滤波也“命甲甲即甲330§41维纳( Wiener)数字滤波330§4,2卡尔曼( Kalman)数宇滤波.吾小如山山甲·自甲§43最小均方(LMS)自适应数字滤波"…"…"∵"卜"r""r"s""341§4-4归一化LMS自适应数字滤波…………344§4.5递推最小二乘(RLS)自适应数字濃泼导↓↓晶3L8第四篇数字图像处理第一章图像雄本运算■■↓罪隱b■【b啁山b西血a导即·晶s咱■聊暴,M352§1.1图像读取、存储与显示…第一篇常用数字信号的产生第一章数字信号的产生§1.1均匀分布的随机数功能产生(a,b)区间上均匀分布的随机数。方法简介均匀分布的概率密度函数为f(r)共它2,方差为Qb通常用U(a,b)表示。均匀分布的均值为+b产生均匀分布随机数的方法下首先,由给定的初值x,用混合同余法a=(ai-1+c)(mod M)产生(,1)区间上的随机数y其中:a-2045,c=1,M=22;然后,通过变换x,=a(ba)y;产生{a,b)区间上的随机数z;三、使用说明1.子函数语句double urniform (a, b, seed>2.形参说明a——双精度实型变量。给定区间的下限。b—双糖度实型变量。给定区间的上限。seed-—长整型指针变量。*seed为随机数的种子。四、子函数程序(文件名: uniform.c)Double uniform (a, b, seed)double a, bilong int的sced;QubIc￥seed=2045兴(#seed)+1ccd=.Scd一(;gced/lC48576)两L18576t=(兴seed)/1048576.0;t=+a)苦trefute〔五、例题产生50个0到1之问均匀分布的随机数主函数程序(文件名: uniform.r):# inelude" stdio.h′include furiomaini)doble a,b,x; int i+Jg intdouble unifo r(double, double, long int xa=0.0;h=1.0;=13?9for(i=0
- 2020-07-02下载
- 积分：1
