RBM 算法理解
RBM 算法理解 这份笔记参考了很多网上的资源，也加入很多自己的理解和详细推导， 非常适合初学者使用， 这篇笔记属于复合型产物，感谢那些网上无私奉献自己心得的人们。RBM能量模型这里说一下RBM的能量模型,这里关系到RBM的理解能量模型是个什么样的东西呢?直观上的理解就是,把一个表面粗糙又不太圆的小球,敚到一个表面也匕较粗糙的碗里,就随便往里面一扔,看看小球停在硫的哪个地方。一般来说停在碗底的可能性比较大,停在靠近碗底的其他地方也可能,甚至运气好还会停在碗口附近(这个碗是比较浅的一个碗):能量模型把小球停在哪个地方定义为一种状态,每种状态都对应着个能量,这个能量由能量函数来定义,小球处在某和状态的概率(如停在碗底的概率跟停在碗口的慨率当然不一样)可以通过这种状态下小球具有的能量来定义(换个说法,如小球停在了碗∏附近,这是·种状态,这个状态对应着一个能量,而发生“小球停在碗口附近”这种状态的概率,可以用来表小,表小成,其中是能量函数),其实还有一个简单的理解,球在碗底的能量一般小于在碗边缘的,比如重力势能这,显然碗底的状态稳定些,并且概率大些,就是我认为的能量模型。1.概率分布函数。各个节点的取值状态是概率的、随机的,这里用了3种概率分布来描述整个RBM网络,有联合概率密度,条件概率密度和边缘概率密度2.能量函数。随机神经网络的基础是统计力学,差不多思想是热力学米的,能量函数是描述整个系统状态的一种测度。系统越有序或者概率分布越集中(比如小球在碗底的情况),系统的能量越小,反之,系统越无序并且概率分布发散(比如平均分布),则系统的能量越大,能量函数的最小值,对应着整个系统最稳定的状态RBM能量模型的作用是什么呢?为什么要弄清楚能量模型的作用呢?第一、RBM网终是一种无监督学习的方法,无监督学习的目的自然就是最大限度的拟合输入数据和输出数据。第二、对于组输入数据来说,如果不知道它的分布,那是非常难对这个数据进行学习的。例如:如果我们实现写出了高斯函数,就可以写出似然睬数,那么就可以进行求解,就知道大致的参数,所以实现如果不知道分布是非常痛苫的·件事情,但是,没关系啊,统计力学的一项硏究成果表明,任何概率分布都可以转变成基于能量的模型,即使这个概率分布是未知的。我们仍然可以将这个分布改写成能量函数第三、能量函数能够为无监督学习方法提供个特殊的东两)日标函数b)标解换句话说,使用能量模型使得学丬一个数据的变得容易叮行了。能否把最优解的求解嵌入能量模型中至关重要,决定着我们具体问题求解的好坏。能量模型要捕获变量(这里我理解的是各个分量之间的关系)之间的相关性,变量之间的相关程度决定了能量的高低。把变量的相关关系用图表是一个图,以概率为测度,所以是概率图)模型的能量模型。由上面所说,RBM是一种概率图模型,既然引入了概率,那么就可以通过采样技术来求解,在CD( contrastive diⅳ vergence)算法中采栟部分扮演着模拟求解梯度的角色。能量模型需要定义一个能量函数,RBM能量函数如下:()=∑∑∑∑这个式子的含义非常明显,每个节点有一个能量, hidden和wsbe之间的连接也有个能量,如何求解呢?如果ⅵ isible有组取值(1,0,1),对应的 hidden取值是(1,0,1,01,0,分别带入上面的公式,最后得到的结果就是能量,这里要注意到()里面的地位是相等的,不存在先后顺序,这是一个结构整体的能量值为什么要搞能量函数?前面指出未知分布不好求解但是可以通过能量函数米表示,那么能量函数的概率模型很大程度上可以得到未知分布的概率模型,这样大致就知道了未知分布的分布既然知道了—个RBM网络 hidden和 visible整个框架的能量函数,那么可以定义这个能量函数(能量)出现的概率,很显然这个能量的出现与 hidden和sbe的每个节点的取值都有关系,那么这个能量出现的概率就是和的联合概率密度里可以将能量函数理解成小球在碗里面具体的一个位置所具有的一个能量,那么联合概率密度就是能量也就是这个状态出现的概率)这个概率不是随便定义的,是有统计热力学解释的定义了联合概率密度,那么我就可以得到一个分布,现在再回来前面的知识,可以得到1最初是未知分布的数据,求解参数,完全无从下手2.将未知分布的数据与能量函数联合在起3定义这个能量函数出现的概率,其实也就是对应着未知分布数据一个函数出现的概率4我们可以得到能量函数的概率分布,这个分布就叫 Gibbs分布,这里不是一个标准的Gibs分布,而是一个特殊的 Gibbs分布,这个分布有一组参数,其实就是能量函数中的那儿个前面知道∫下面可以得到边缘概率密度和()∑∑也可以得到条件概率密度和∑∑从概率到极大似然上面的内容已经得到了Gb分布的各种概率密度函数,现在回到最初的目的,即求解让RBM网络表示的Gibs分布最大可能的拟合输入数据,或者换一种说法,求解的目标可以认为是让RBM网终表示的 Gibbs分布与输入样本的分布尽可能的接近现在的小问题是“最大可能的拟合输入数据"这句话怎么定义:假设表小样本空间,即里面含有很多个不同的,是输入样本的分布,()表示训练样本的概率,再假设是RBM网络表示的 Gibbs分布的的边缘分布,即可以理解成每种不同情况的都对应着一个概率。输入样本的集合定义为,那么样木真实的分布和RBM网络表示的边缘分布的KL距离就是2者之间的差异性(KL的详细讲解见附录),样本的真实分布(什么是样本的分布?见附录)与RBM网络表示的边缘分布的KL距离如下所示()20)-0=2()0)2()(如果输入样本表小的分布与RBM表小的Gbbs分布完全符合,这个KL距离就是0,否则是一个大于0的数山附录对熵的定义(在KL讲解里面)可知,上面)的第一项是输入样本的熵,这个是·个固定的数,输入样本固定了,熵就固定了,第二项明显无法直接求。由KL的性质可知,KL是一定大于0的,那么当第二项最大的时候,整个KL最小,我们本来的日的也是求KL最小。注意到第二项-∑()()中的()当样木固定的时候,是固定的而函数是递增的,即当∑()最大即可。在实际应用中,我们采用的是∑(),其中是样本的个数。这里的-∑()就是极大似然估计(这里大家可以∈代替了∈Ω,这是为什么呢?拿一个2维向量来说,(1,0),(1,1),(0,0)这3个的概率和是1,(0,1)出现的概率是0,那么样本空间是(1,0),(1,1),(0,0),但是我们采样的时候只采样到∫(1,0),(1,1),那么这次的输入样本的集合就是(1,0)(1,1))。结论就是求解输入样本的极大似然,就能让RBM网络表示的 Gibbs分布和样本本身表示的分布最接近。求解极大似然这里对似然的定义参考我的另一篇笔记EM算法这个样本从所有样本被取到的概率为0)=∏(b)b∈6()=(0)=∑(0)c⊙在RBM模型中,上面的似然函数写成(上面的式子中是样本,也可以理解为一个isbe节点):(O)-(0)-l()O∈()=∏(b)=∑()0∈对这个函数进行求导02(066∈⊙66我们由能量模型应该也知道了()的概率∑,那么下面开始求导∑06∑c8上面这个式子一定要注意一个问题,即第一项的和第二项的00是不一样的。第一项的是固定的里面的取多少它就取多少而第二项里面的是所有可能的,其实这个细节也可以从∑和∑中发现出来()注意到()和,上面的式子可以写成∑0606∑()∑x((2m0)2x(2m0606第一项和第二项分别是和的期望,这2个是不同的,第一060个求在下的期望,第二项求的是这个函数在概率()下的期望。将O和()由最前面的东西代换,可得到以下3个式了∑∑∑∑∑∑()∑∑()∑()∑∑(这里用到了一个技巧∑这里∑是指hden中第个向量为0,其他分量的值任取的一组向量。?岁∑()∑()∑()∑()∑∑∑∑)-∑()-∑∑()()-∑()∑()∑∑=∑()-∑∑()()=∑()-∑()∑())-∑()(可以发现和的第二项都含有∑,这意味着要对进行遍历,这明显不可能,但是算梯度需要怎么小呢?这时就可以通过 markov采样来算,只要抽取一堆样本,这些样本符合RBM网络表示的Gibs分布,就可以把上面3个偏导数算出来。具体的处理过程是对于每个训练样本,都用某种抽样方法抽取一个对应的,这个是符合RBM网络所表示的Gbs分布的。那么对于整个训练集{米说,就得到一组对应的符合RBM网络表示的Gibs分布的样本集{然后拿这个样本去估算第二项∑,那么梯度就可以用以下的式了来近似了:()(=)-∑()(=)-∑()上面的式子中表小第个训练样木,是所对应的符合RBM网络表小的Gs分布的样本,在式子中用表示。梯度求出来了,就可以求解了,最后不断迭代就可以得到
- 2020-12-11下载
- 积分：1
鸡啄米VS2010-MFC编程入门教程
鸡啄米的这套VS2010/MFC编程入门教程到此就全部完成了，虽然有些内容还未涉及到，但帮助大家进行VS2010/MFC的入门学习业已足够。以此教程的知识为基础，学习VS2010/MFC较为深入的内容已非难事。作为本教程的最后一课，鸡啄米将对前面所讲内容进行目录归纳，并对这八个月加班加点的努力进行总结。vS2 DIO/MFC编程入门教程之目录和总结-敦一开发-鸡啄米每布课的写作耗时差不多都在两三个小时以上,有时侯甚全写到凌晨一点多。付出了很多,同样也收获了很多,最大的收获莫过于大家的肯定和支,很多朋友都韶言或者发郎件支持鸡啄米,这说明我的辛勤劳动没有白费,帮助了很多人,感谢那些一直以来支关注鸡啄米的朋友,也特别感谢那些在鸡啄米经常留言支持的读者除了大家的支持,鸡啄米自己也通过本教程的完成更深入的理解了的很多内容,提高了对的认认水平,尤其是更加巩了一些较少使用的知认。在帮人的同时也帮了自己很多朋友在鸡啄米留言或者给鸡啄米发电子邮件讨论问题,由时间确实比较少,晚上夏新文章,白天上班,所以只叵复了一部分,望大家见谅。学会了编程,很多人就开始喜欢硏究了,但是提醒大家不要忘了根本,即谙言。从《鸡啄米编程入门系列》和《编程入门教程》这套学习教程的受欢迎程度,鸡啄米感觉大家有些忽规的学习,更喜欢应用性强的在你能熟练使用后,最好再认真学学,提高水平才能真正亡你的编程功力上一个台阶。以后鸡啄米会铼续分亨各种编程知识,还会编写一些教程,希曌人家能一如既往约关注鸡啄米网站,支持鸡啄米!格力高百力漆清风原木纯品系列了!这一耙已有微虾味)*1盒3层谜你纸手帕“10包已D体被害送出兔费领』兔费领推您可能也喜欢:日分2编程入门编稈入编稈入编程入编程入之三应用门之三十九(文档、门之十三(常门之刀十六常门之一五(对话框程序工程中文件的组视图和框架:概述)用类类月类异常处一股属性页对话框的成结构)创建及显示)除非特别注明,鸡啄兴文章均为原创转载请标明本文地止作着鸡啄米分类软件开发浏览评论上一篇:互联网的轻时代已成为趋势下一篇:最全面详细的评测相关文章编程入门之五十四界Ⅲ开发:使用更多空件并为控科添加消息欠理凶数)编程入门之五|三(界面开发:为添加控件)编程入门之开十二(界Ⅲ开发:创建样式的应用程序框架)编程入门之五十一(图形图像:对象之画刷编程入门之五十(图形图像:对象之画笔编程入门之四|元(图形图像:类及其屏暮绘图函数)编程入门之四十八(字体朴文本输出:文输出)编程入门之四十七(字体和文本输出:字体类)编程入门之四十六(常用类:异常处理)http://www.jizhuomi.com/software/257.tml[2013,969:48:41]vS2 DIO/MFC编程入门教程之目录和总结-敦一开发-鸡啄米编程入门之四十五(常用类文件操作类)楼我的名字叫麒我一直自学编程,觉得它比别的都好回复该留言楼愚人笔记希望还有下一个系列面世66鸡啄米于回复嗯,会有的,呵呵回复该留言楼蛉啊了非常感谢!继续加油!回复该留言偻楼主好热心好感动啊写了这么多而且写的非常详细!!再次谢谢你们。。虽然今天查百度无意间点到这里的,不过攸货确实好多,记住鸡啄米了哈!!!。。祝你们网站越来越火哈,,以后我会经常来你们网站的哈哈≤6鸡啄米于回复志同道合的朋友越来越多了回复该留言楼学土之爱楼主了不起啊回复该留言楼求助救助:按你第课制作的计算器,我加入了一个减法功能,里面参数如下初始时刻三个变量对立的都是,我需要他们为空也就是什么都没有还有就是输入数据后或没入数据而按时程序会自动结束,改怎么办?≤鸡啄米于回复变量是存到内存中的,它是不可能为空的,即使你没有赋初值,它也会有初值。按回车退出一般是因为默认按紐是,取消默认按钮或者把中的注掉就行了求助于回复谢谢老师,问题我已经解决了回复该留言楼李志红博客反正不懂这个,米看看。回复该留言http://www.jizhuomi.com/software/257.tml[2013,969:48:41]vS2 DIO/MFC编程入门教程之目录和总结-敦一开发-鸡啄米楼点点滴滴写得非常好,加油回复该留言楼欲取消子节点缩进您好,米哥,我想取消子节点与父节点的缩进,请问应该如何做啊!谢谢啊由鸡啄米于最后编辑回复该留言楼迷哎呀不得了,最近车学回复该留言写的真的非常详细,非常好!!!!怒赞于回复喽主虽是写技术博客,可惜一点讨论的氛围都没有,都是一些菜鸟在这淫须马,博客的板式中也只有喜欢和推两^能,连反对的机会都不给,可见作者多么自恋和自大。让人匪所思!写博客不是为了技术探讨,这种浅尝揶止的文章不如不看!写出来的东西也是玩具,实际立用中很容易腐烂。回复该留言第一次发现这个好东西,顶起,写得真好。回复该留言楼楼主好热心力能的热心楼主啊!!里加入控件怎么加啊????百度半大了也摆不到66喽主好热心于回复楼主快出现呀6鸡啄米于回复,日前还没用过控件,建议再搜索下,网上应该有相关资料回复该留言楼我考研的目的有点像博主,但我是因为自已出太真心没实力的说。。学的不是亡算机,本科也是浑浑噩噩的过去,化了点时间去考研,刚第一个学期,日子依旧浑浑噩噩的,因为要上程序课偶然发现这个对站。。看了博工一番感概,觉得自己确实要给自己一^定位一个方叵,但是我这专业有时候确实让人很迷茫。。。而且现在做什么都克制不住白三可以花上一天的时间看美剧。。。ε最近一直在想我到底该怎么做是好鸡啄米于回复想做什么一定要下决心,尤其是学生阶段,不要到找工作的时侯再着急回复该留言最近在学习很高兴能参照着博主的资料,一步一步一点点的学习下去。对于一个白来说是很好的入门学习材料。希望自己能在本门底将搞定,吼吼。再次感谢博主!!!http://www.jizhuomi.com/software/257.tml[2013,969:48:41]vS2 DIO/MFC编程入门教程之目录和总结-敦一开发-鸡啄米《鸡啄米于回复别急,步来,柞信看完我的教程:你入门没有问题回复该留言楼米哥,可有打算扩允教程,加个动态链接库编程什么的冫求指导啊,同忐们可是翘首以盼那6鸡啄米于回复这个后面会考愿回复该留言楼路过支持一下!6鸡啄米于回复谢谢攴持.欢迎常来逛逛回复该留言楼支持楼主辛苫了,写的很不错,是我们项目老大推荐给我看的,我是才入手,看了很有帮助,期待后续还有更好的。鸡啄米于回复谢谢你的支持,也谢谢你们老大。欢迎常米交流。回复该留言楼分享奉献让这个世界更好。感谢博主《鸡啄米于回复妇果有这和想法的人多了,那我们都能提高很快回复该留言楼蛋蛋蛋我不是程序员,但是在跟老师做目时经常要编写或调试一些程序。每当遇到不明白的就先来看看这里有没有介绍。博主的博客写的精炼,用最通俗的语言把和中一些特性的最主要内容介绍出来,让读者省时省力的同时,又能理解这些特生的灵龙去脉,即思想和用法。希望博主的博客开的长久,有需要还会经常来的≤6鸡啄米丁回复我就是希望能这样帮助大家,有东匹需要了解就到这里末查查大家也可以给我投稿,跟众多网友分享自已的看法和经验等。回复该留言你写的文章我都能把实例做出,但是对事件处理的每句语句的意思就不明白了,让自己写肯定也写不出兴。怎么办呀求指教?6鸡啄米于回复http://www.jizhuomi.com/software/257.tml[2013,969:48:41]vS2 DIO/MFC编程入门教程之目录和总结-敦一开发-鸡啄米多看几遍:自已多写写,最后一定会明白的回复该留言楼穷者独善其身,达者兼济大卜!楼主是一个脱离了低级趣味的好人!≤鸡啄米于回复谢谢,只是想大家分享些已经掌握的知识回复该留言兴哥,我已经把你的教程从第一篇看到这篇了(),收获很夭,希堊博主在写个数据库编程的。。。。回复该留言楼我的名字叫麒攸藏了,博主你千万别删除啊!回复该留言很有帮助,请问一下哈就是我如果创建了多个对正框,在一个对话框中点击按钮如何调用另一^对话框并且之前的对话框不消失?还有就是除了主对话框,其他对话框中的函数在那里改呢?谢谢!祝越办越好6鸡啄米于回复第一个叫颙,在对话柞的单击消息响应函数口,构造另一个对话枉的对象,然后调用成员函数,就可以了。第二个问题,其他对话框在使用前肯定要为其创建类,在对话框类中修改函数回复常感谢您的解答,又遇到一个问题,就是我添加了一个空间(在另一个对话框中)添加控制变量为在其中添加了成员函数为什么运行后,程序崩溃了?回复该留言楼简搜百科谢谢真的!辛苫了回复该留言我是住新建对话框的类中添加了一个成员函数如果是在主对话框中控件是可以添加字符的,为什么呢?谢啦回复该留言http://www.jizhuomi.com/software/257.tml[2013,969:48:41]vS2 DIO/MFC编程入门教程之目录和总结-敦一开发-鸡啄米能不能出一个美化界面的专题,比如怎么设置背景图突啊,之类的,谢谢拉66鸡啄米于回复不错的要求,先记下,有会为大家奉上回复该留博主,请冋一个叫颗哈,很感谢。我要做一个地图染色的程序,用种子填充法染色速度很慢,一个像素一个像素地染,有没有能很快填充整个区域的函数?谢谢!回复该留言楼读研期间要用,米哥这两套教程卡常好,感谢楼主并支持6鸡啄米于回复研究生阶段学的不少,望能给别人推荐下鸡啄米,在此谢远!回复该留言很不错的东西攴持博主学了一年多的编程了一直都是用命令行看到那个罴框框都要吐了看刭终于能做可视化的界面很激动呢鸡啄米于回复程序员还是很需要成就感的回复该留言楼新世纪娱乐减回复该留言今天偶然搜索到这个博客,好多我正好需要的东西。学了|几课,真的很有月。万分感谢。k鸡啄米于回复希望能常来,可能还会有你需要的东西哦,叫呵回复该留言非常感谢博主无私奉献的精神,我是看这个系列入门的!6鸡啄米于回复很高兴能帮你入门回复该留言http://www.jizhuomi.com/software/257.tml[2013,969:48:41]vS2 DIO/MFC编程入门教程之目录和总结-敦一开发-鸡啄米写得不铓,简单易懂,受用。要是再讲个网络编程和多线程的话,然后把前面的界面编程糅合起来讲个小小的一边聊天一边传输文件功能的案例就完关了。回复该留言楼要是那个案例里能捫聊犬派汞进数据库就更奷了,数据车叮以用嵌入式数据库,这个数据库很轻的,只需要在项匚中加入几个库文件就行了。回复该留言楼油烟机什么牌了好很不错啊博主继续加油k6鸡啄米于回复起加油回复该留言楼我的名字叫麒楼主好人啊!你可千万别删,我一直在学习6鸡啄米于回复不会删的,呵呵,欢逛常来学习回复该留言楼已纤顺利完成编程入门教程的全部内窣(当然个别暂时用不到的就掠过了)。冉次感谢作老完成这样非常适合学者的教程!≤鸡啄米于回复不用谢,以后常来逛逛啊回复该留鸡啄米先生;您的,文章使我受益匪浅,真诚的感谢你回复该留言楼我的名字叫麒博主,我实在搞不懂这些,看了很久了,连白学都不行,你看这样行不行?你给我培训,开价吧!46鸡啄米于回复那就从最基础的学起呵呵,如果有几个像你这样需求的朋友,看来我可以开培训班了。。回复该留言楼我的名字叫麒博主救我!我电脑里软伫管家现实,编程开发一栏里有个东西,请你带我删除一批。详细看这里≤6鸡啄米于回复你装的版本大多了,有和,可以卸毂两个,剩个就可以http://www.jizhuomi.com/software/257.tml[2013,969:48:41]vS2 DIO/MFC编程入门教程之目录和总结-敦一开发-鸡啄米回复该留言楼室内设计博客难刚起步,学学回复该留言楼诩谢!辛苦了。鸡啄米老师6鸡啄米于回复不用客气,欢迎常来回复该留言楼水上之舟每次不记得该如何操作,就会跑这来看看,真心很感谢回复该留琢米老师!想用同时绘制三个坐标图,点已经有了,还是不是很会弄,可以指点指点吗?回复该留言琢米老师是个妤老师啊,一直在跟着啄米老师走、觉着老师讲的非常容易理解,刚看完了的教程,现在打算开始学了,希望以后能和老师学到更多东西,提高自己!鸡啄米于回复先学再学记得回头再看看,呵呵回复该留言楼这篇文档介绍详细,对于我们这些刚入门的有极大作用,谢谢米哥回复该留言非常感谢前辈这个是我看过的最好的教程了,比我车图书馆里翻过的那些大部头教材好多了全部做下来感觉自己对很有自信了表小再也不用控制台了6鸡啄米于回复谢谢肯定,欢迎常来啊回复该留言楼多谢多谢写的非常好,果断多谢多谢回复该留言老师,你好:我想问下你的教稈有没有出书啊?我想买书看,不上网的时候也可以学习看下,谢谢鸡啄米于回复抱歉,没有出书,匚前只能在这里看http://www.jizhuomi.com/software/257.tml[2013,969:48:41]
- 2020-12-08下载
- 积分：1
