EM算法详细例子及推导
EM算法详细例子及推导数θ),那么对于上面的实验,我们可以计算出他们出现我们观察到的结果即0=(5,9,.8,4,7,20=(B,A,A,B,4)的概率函数P(X=x10),2z)⑨)就叫做θ的似然函数。我们将它对θ求偏导并令偏导数为0,就可以得到如的结果P(X=x0,=20))=(;P(z=A)3(1-P(z=A)2C10(1-64)10A(1-6C104(1-0(1-6B)C106n(1-6我们将这个问题稍微改变一下,我们将我们所观察到的结果修改一…下我们现在只知道每次试验有几次投掷出正面,但是不知道每次试验投掷的是哪个硬币,也就是说我们只知道表中第一列和第三列。这个时候我们就称Z为隐藏变量( Hidden variable),X称为观察变量( Observed variable)。这个时候再来估计参数θ4和θB,就没有那么多数据可供使用了,这个时侯的估计叫做不完整数据的参数估计。如果我们这个时候冇某种方法(比如,正确的猜到每次投掷硬币是A还是B),这样的话我们就可以将这个不完整的数据估计变为完整数据估计当然我们如果没有方法来获得更多的数据的话,那么下面提供了一种在这种不完整数据的情况下来估计参数θ的方法。我们用迭代的方式来进行:(1)我们先赋给θ一个初始值,这个值不管是经验也好猜的也好,反正我们给它一个初始值。在实际使用中往往这个初始值是有其他算法的结果给岀的,当然随机给他分配一个符合定义域的值也可以。这里我们就给定64=0.7,6B=0.4(2)然后我们根据这个来判断或者猜测每次投掷更像是哪枚硬币投掷的结果。比如对于试验1,如果投掷的是Δ,那么出现5个止面的概率为C10×0.75×(1-07)5≈0.1029:;如果投掷的是B,出现5个正面的概率为C105×0.43×(1-0.4)5≈0.2007;基于试验1的试验结果,可以判断这个试验投掷的是使币A的概率为0.10290.10290.2007)-0.389是B的概率为02007(0.1029+0.2007)06611。因此这个结果更可能是投掷B出现的结果(3)假设上一步猜测的结果为B,A,A,B,A,那么恨据这个猜测,可以像完整数据的参数仙计一样(公式2重新计算的值这样一次一次的迭代2-3步骤直到收敛,我们就得到了θ的估计。现在你可能有疑问,这个方法靠谱么?事实证明,它确实是靠谱的。期望最大化算法就是在这个想法上改进的。它在估计每次投掷的硬币的吋候,并不要确定住这次就是硬币A或者B,它计算岀来这次投掷的硬币是A的概率和是B的概率;然后在用这个概率(或者叫做Z的分布)来计算似然函数。期望最大化算法步骤总结如下:F步骤先利用旧的参数值〃计算隐藏变量Z的(条件)分布P(万=2|Xn2),然后计算logP(,X=m)的期望B(o(2,X=x)=∑∑P(Z=别X=)P(Z=X=x)其中θ是当前的值,而θ是上一次迭代得到的值。公式中已经只剩下θ一个变量了,θ是一个确定的值,这个公式或者函数常常叫做Q函数,用Q(6,6)来表示。M步骤极大化Q,往往这一步是求导,得到由旧的θ值′米计算新的θ值的公式aQ总结一下,期望最大化算法就是先根据参数初值估计隐藏变量的分布,然后根据隐藏变量的分布来计算观察变量的似然函数,估计参数的值。前者通常称为E步骤,后者称为M步骤3数学基础首先来明确一下我们的目标:我们的目标是在观察变量X和给定观察样本:1,x2,…,rn的情況下,极大化对数似然函数(=>nP(X2=x;)(5)其中只包含观察变量的概率密度函数P(X2=2)=∑P(X=n,=)这里因为参数θ的写法与条件概率的写法相同,因此将参数θ写到下标以更明确的表述其中Z为隐藏随机变量,{}是Z的所有可能的取值。那么6)=∑h∑P(X=x,z=2)∑h∑。Px=x这里我们引入了一组参数(不要怕多,我们后面会处理掉它的)a,它满足可能的;,0;∈(0,1和∑;a=1到这里,先介绍一个凸函数的性质,或者叫做凸函数的定义。∫(x)为凸函数,=1,2,…,m,A∈[0,1∑1A对∫(x)定义域中的任意n个m1,x2,…,xn有f(∑Aa)≤∑mf(xr)i=1对于严格凸函数,上面的等号只有在x1=2xn的时候成立。关于凸函数的其他性质不再赘述。对数函数是一个严格凸数。因而我们可以有下面这个结果0)=∑hn∑≥∑∑ah(X=2n,2=C现在我们根据等号成立的条件来确定a;即P(X=x,Z=2)C(10)其中c是一个与j无关的常数。因为∑,=1,稍作变换就可以得到P(X;=x;)现在来解释下我们得到了什么。c;就是Z=2;在X=x;下的条件概率戌者后验概率。求α就是求隐藏随机变量Z的条件分布。总结一下目前得到的公式就是)-∑∑P(Xi=i,Z(12)直接就极大值比较难求,EM算法就是按照下面这个过程来的。它就是大名鼎鼎的琴生( Jensen)不等式(1)根据上一步的θ来计算α,即隐藏变量的条件分布(2)极大化似然函数来得到当前的的估计3.1极大似然估计好吧,我觉得还是再说说极大似然估计吧。给定一个概率分布D,假设其概率密度函数为f,其中f带有一组参数6。为了估计这组参数6,我们可以从这个分布中抽出一个具有n个采样值的X1,X2,…,Yn,那么这个就是n个(假设独立)同分布随机变量,他们分别有取值x1,x2…,xn,那么我们就可以计算出出现这样一组观察值的概率密度为lI f(ai)(13)对于f是离散的情况,就计算出现这组观察值的概率10)注意,这个函数中是含有参数0的。0的极大似然估计就是求让上面似然函数取极大值的时候的参数O值。般来说,会将上面那个似然函数取自然对数,这样往往可以简化计算。记住,这样仅仅是为了简化计算。取了自然对数之后的函数叫做对数似然函数。ln()=∑lnf(n)因为对数是一个严格单调递增的凹函数,所以对似然函数取极人值与对对数似然函数取极大值是等价的。3取了对数之后还可以跟信息熵等概念联系起来4关于凸函数有很多种说法,上凸函数和下凸函数,凸函数和凹函数等等,这里指的是二阶导数大」(等」)0的一类函数,而凹函数是其相反数为凸数的一类函数32期望最大化算法收敛性如何保证算法收敛呢?我们只用证明l(04+1)≥1(00)就可以了l(0(t11)∑∑(+1)1PX=x;2=2)(+(t+1∑∑nf(X=x;,z=z;)(+1)(t)o(tn /(r=i,Z=2(t)≥∑∑ahn(t)7(0其中第一个人于等于号是因为只有当a取值合适(琴生不等式等号成立条件)的时候才有等号成立,第二个人于等于号正是M步骤的操作所致。这样我们就知道l(θ)是随着迭代次数的增加越来越人的,收敛条件是值不再变化或者变化幅度很小。4应用举例4.1参数估计很直接的应用就是参数估计,上面举的例子就是参数估计42聚类但是如果估计的参数可以表明类别的话,比如某个参数表示某个样本是否属于某个集合。这样的话其实聚类问题也就可以归结为参数估计问题。References[]最大似然估计[oNline].Availablehttp://zh.wikipediaorg/wiki.%E6%9c%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1[2] Ceppellini, r, Siniscalco, M.& Smith, C.A. Ann. Hum. Genet. 20, 97-115(1955)3 Hartley, H. Biometrics 14, 174-194(1958)4 Baum, L.E., Petric, T, Soulcs, G.& Weiss, N. Ann. Math. Stat 41, 164-171(1970)[ 5] Dempster, A P, Laird, N.M., Rubin, D B.(1977). "Maximum Likelihoodfrom Incomplete Data via the em algorithm. Journal of the royal statis-tical Society Series B(Methodological)39(1): 1-38. JSTOR 2984875 MR0501537[6]Whatistheexpectationmaximizationalgorithm[oNline].Avaiable:http//ai. stanford. edu/-chuongdo/papers/em tutorial pdf[7TheEmAlgorithmOnline.Availablehttp://www.cnblogs.com,jerrylead/ archive/2011/04/06/2006936html
- 2020-12-07下载
- 积分：1
基于XY2-100协议的振镜控制转换板的设计与实现
基于XY2-100协议的振镜控制转换板的设计与实现,介绍了XY2-100协议，以及如何使用。《自动化与仪器仪表》2014年12期(总第182期)结束语2」李志洪计算机在办公自动化中的应用才智,2008(02)经济社会的发展促进办公自动化的发展,大数据时代使得[3]杨庆万计算机网络技术与办公自动化[广东科技,20071办公宰自动化对于计算机技术的使用提出越来越高的要求,企4宁长明,刘洪刚应用计算机网络系统实现办公自动化自动化技事业单位和办公人员都有责任共同努力,促进办公室自动化术与应用,2001(04)智能化,提高办公效率。办公室工作人员才是系统的主体部5余小惠计算机网络与办公自动化引进与咨询000分,要保持对新计算机技术的敏感性和可接受性。[6]唐世梅计算机在办公自动化中的应用[科技信息科学教研),2007(22)参考文献[7王民川.计算机在办公系统中综合运用的探索J中小企业管理与科技(下旬刊,2010(07)[l]龙玲.高校办公自动化应用教学的推广价值探究[小科技信息,2010[8]贺铿.大力推进统计系统办公自动化建设U中国统计,2001(08)(03)(上接第4页)图10表明输入控制量与光斑位置变化成线性关系,说明了输出数字量的准确性,振镜控制转换板可以有效地对振镜进行控制。5结束语本文在分析XY2-100协议的数据结构及接口定义的基础激光器振镜控制R32ARM上,结合DSP控制技术设计了振镜控制转换板,实现了对振镜振镜2204转换被的控制。从XY2-100协议入手,设计了DsPF2812的硬件电图9测试实验系统路,制作了振镜控制转换板。软件上通过对XY2-100的数据分扫描平面上的坐标值与两振镜转角的关系式为:析设计了软件流程,解决了协议的转换和与ARM11嵌入式系统通信的问题。通过实验表明设计的振镜转换板卡完成了协议y=d tane(1)转换的功能,与外界通信良好,实现了对振镜的X、Y轴方向的控制,取得了良好的控制效果。综上所述,这种高性能的振(Id 2ty+e)*tan日(2)镜控制转换板的设计具有重婆的应用价值。其中d为Y轴振镜到标记面的距离,X、Y轴振镜转角分别为,e为两个转镜之间的距离为l8mm。在距离坐标平面的距离参考文献d为235mm时,当Y轴输入控制量为0时,对应的坐标为]陈苗海中国激光加工产业现状和发展前景门激光与红外200434(2600mm,100mm),当输入的控制量为2时,对应的坐标为(1):73~77.(260.0mm,260.0mm),将坐标代人公式(1)计算得Y轴扫描[2]潘涌骆公序折射式扫描系统设计及应用应用激光,20123范围约为(-28°,+28°)。同理X轴扫描坐标范围:(260.0mm,[3] Newson Engineering. XY2-100 technical datasheet[EB/OL]. (2007-0331).http://www.new.be/rhotho1350mm),(l350mm,135.0mm),395.0mm,135.0mm)代人公式[4]柳宁基于MCU和DSP的运动控制研究硬件平台设计叮微计算(2,计算X轴扫描范围约为(-28°,+28°)。振镜控制转换板输机信息2006、22)11-2出的是20位的数据信号,其中起到控制转角作用的是16位的5]TMs320F28 x Product Data Sheet. Texas Instruments. SPRS74.2003数字量,范围是0-2的数字量,扫描范围约为28°,输入每隔6]TPs767D318 Product Data Sheet , Texas Instruments sLvS209H2004096个控制量振镜对应转角约为3.5°,在(-28,0)的范围[7]TMs32060003 oard Design for JTAG.Texas Instruments. SPRA584C,测试每转过35°与Y轴对应靶标上的位置。2002Y/mm[8]尹勇欧光军关荣锋DSP集成开发环境CCS使用指南[M北京:北京航空航天大学出版社,2003年聊入数字量50010000150002000250003000035000图10输出控制量与光斑在Y轴的位置万方数据
- 2020-12-03下载
- 积分：1
数学建模算法与应用习题答案
这是司守奎黄皮书的习题答案 大家可以参考一下普通高等院校“十二五”规划教材数学建模算法与应用习题解答司守奎孙玺菁张德存周刚韩庆龙编著263所一荤出版北京内容简介本书是国防工业出版社出版的《数学建模算法与应用》的配套书籍。本书给出了《数学建模算法与应用》中全部习题的解答及程序设计,另外针对选修课的教学内容,又给出一些补充习题及解答。本书的程序来自于教学实践,有许多经验心得体现在编程的技巧中。这些技巧不仅实用,也很有特色。书中提供了全部习题的程序,可以将这些程序直接作为工具箱来使用本书可作为讲授数学建模课程和辅导数学建模竞赛的教师的参考资料,也可作为《数学建模算法与应用》自学者的参考书,也可供参加数学建模竞赛的本科生和研究生以及科技工作者使用。图书在版编目(CIP)数据数学建模算法与应用习题解答/司守奎等编著.一北京:国防工业出版社,2013.1普通高等院校“十二五”规划教材ISBN978-7-11808543-3I.①数.Ⅱ.①司.Ⅲ.①数学模型一高等学校—题解Ⅳ.①O141.4-44中国版本图书馆CP数据核字(2013)第001100号囤所社出版发行(北京市海淀区紫竹院南路23号邮政编码100048)北京奥鑫印刷厂印刷新华书店经售开本787×10921/16印张101字数240千字2013年1月第1版第1次印刷印数1—4000册定价25.00元(本书如有印装错误,我社负责调换)国防书店:(010)8854077发行邮购:(010)88540776发行传真:(010)88540755发行业务:(010)88540717前言本书是国防工业出版社出版的《数学建模算法与应用》的配套书籍。《数学建模算法与应用》的前7章、第14章和第15章可以作为选修课的讲授内容,其余部分可以作为数学建模竞赛的培训内容。对于选修课部分的章节,我们又补充了一些习题,并且给出了全部习题的解答及程序设计。习题是消化领会教材和巩固所学知识的重要环节,是学习掌握数学建模理论和方法不可或缺的手段。学习数学建模的有效方法之一是实例研究,实例研究需要亲自动手,认真做一些题目,包括构造模型、设计算法、上机编程求解模型。书中提供了全部习题的程序,因而读者不仅可以从中学到解题的方法,还可以将这些程序直接作为工具箱来使用。对于数学建模的一些综合性题目,本书提供的解答可以作为参考,因为这类题目的解答是不唯一的。作为读者,应该努力开发自己的想象力和创造力,争取构造有特色的模型。作者布望学习数学建模的读者,对于这部分综合性题目不要先看本书给出的解答,可以等自己做出来之后,再与本书解答比较。由于作者水平有限,书中难免有不妥和错误之处,恳请广大读者批评指正最后,作者十分感谢国防工业出版社对本书出版所给予的大力支持,尤其是责任编辑丁福志的热情攴持和帮助。需要本书源程序电子文档的读者,可以用电子邮件联系索取:896369667qqcom,sishoukui@163.comoⅢ目录第1章线性规划习题解答第2章整数规划习题解答……………………………13第3章非线性规划习题解答………………26第4章图与网络模型及方法习题解答…………………33第5章插值与拟合习题解答…56第6章微分方程建模习题解答第7章目标规划习题解答第8章时间序列习题解答……………………………………………87第9章支持向量机习题解答s102第10章多元分析习题解答106第11章偏最小二乘回归分析习题解答…130第12章现代优化算法习题解答136第13章数字图像处理习题解答……………………………143第14章综合评价与决策方法习题解答147第15章预测方法习题解答…………*………………153参考文献………162第1章线性规划习题解答1.1分别用 Matlab和 Lingo求解下列线性规划问题maxzx2x,+x;≤11-4x1+x2+2x3≥3,2x1+x3=1x1,x2,x3≥0解(1)求解的 Matlab程序如下:clc. clearC=[3:-1-’;===a=[1--21;4-1=2];b=[11,-3]’;aeq=[-2.01];beq=1;Ex,y]=linprog(-cs a, b, aeq, beg, zeros(3, 1 ))y=-y8换算到目标函数极大化求得=49,z=2.(2)求解的 Lingo程序如下:modele setsco1:.3/c,x;row:2/blinks( row, col):a;:nse.endsetsdata.a.=1-214-=1-2.;2b=11--3∵,enda三:max=esum( col: C *x)afor(row(i): esum(col(3):a(1 3)*x())
- 2021-05-07下载
- 积分：1
