Google word2vec算法 数学原理
文档是 word2vec 算法 数学原理详解。word2vec是google的一个开源工具，能够仅仅根据输入的词的集合计算出词与词直接的距离，既然距离知道了自然也就能聚类了，而且这个工具本身就自带了聚类功能，很是强大。32预备知识本节介绍word2v中将用到的一些重要知识点,包括 sigmoid函数、 Bccs公式和Huffman编码等821 sigmoid函数sigmoid函数是神经网络中常用的激活函数之一,其定义为1+e该函数的定义域为(-∞,+∞),值域为(0,1).图1给出了 sigmoid函数的图像0.56图1 sigmoid函数的图像sigmoid函数的导函数具有以下形式(x)=0(x)1-0(x)由此易得,函数loga(x)和log(1-0(x)的导函数分别为log a(a)-1 a(a),log(1 o(a))l-a(a),(2.1)公式(2.1)在后面的推导中将用到32.2逻辑回归生活中经常会碰到二分类问题,例如,某封电子邮件是否为垃圾邮件,某个客户是否为潜在客户,某次在线交易是否存在欺诈行为,等等设{(x;)}温1为一个二分类问题的样本数据,其中x∈Rn,∈{0,1},当v=1时称相应的样本为正例当v=0时称相应的样本为负例利用 sigmoid函数,对于任意样本x=(x1,x2,…,xn),可将二分类问题的 hypothesis函数写成h(x)=o(6o+b1x1+62+…+bnxn)其中θ=(0,61,…,On)为待定参数.为了符号上简化起见,引入x0=1将x扩展为(x0,x1,x2,……,xn),且在不引起混淆的情况下仍将其记为ⅹ.于是,he可简写为取阀值T=0.5,则二分类的判别公式为ho(x)≥0.5:X)=0,ha(x)6),可分别用000001、010、011、100、101对“A,E,R,T,F,D”进行编码发送,当对方接收报文时再按照三位一分进行译码显然编码的长度取决报文中不同字符的个数.若报文中可能出现26个不同字符,则固定编码长度为5(25=32>26).然而,传送报文时总是希望总长度尽可能短.在实际应用中各个字符的出现频度或使用次数是不相同的,如A、B、C的使用颗率远远高于X、Y、Z,自然会想到设计编码时,让使用频率高的用短码,使用频率低的用长码,以优化整个报文编码为使不等长编码为前缀编码(即要求一个字符的编码不能是另一个字符编码的前缀),可用字符集中的每个字符作为叶子结点生成一棵编码二叉树,为了获得传送报文的最短长度,可将每个字符的岀现频率作为字符结点的权值赋于该结点上,显然字使用频率越小权值起小,权值越小叶子就越靠下,于是频率小编码长,频率高编码短,这样就保证了此树的最小带权路径长度,效果上就是传送报文的最短长度.因此,求传送报文的最短长度问题转化为求由字符集中的所有字符作为叶子结点,由字符出现频率作为其权值所产生的 Huffman树的问题.利用 Huffman树设计的二进制前缀编码,称为 Huffman编码,它既能满足前缀编码的条件,又能保证报文编码总长最短本文将介绍的word2ve工具中也将用到 Huffman编码,它把训练语料中的词当成叶子结点,其在语料中岀现的次数当作权值,通过构造相应的 Huffman树来对每一个词进行Huffman编码图3给岀了例2.1中六个词的 Huffman编码,其中约定(词频较大的)左孩子结点编码为1,(词频较小的)右孩子编码为0.这样一来,“我”、“喜欢”、“观看”、“巴西”、“足球”、“世界杯”这六个词的 Huffman编码分别为0,111,110,101,1001和100000欢观有巴西足球图3 Huffman编码示意图注意,到目前为止关于 Huffman树和 Huffman编码,有两个约定:(1)将权值大的结点作为左孩子结点,权值小的作为右孩子结点;(②)左孩子结点编码为1,右孩子结点编码为0.在word2vee源码中将权值较大的孩子结点编码为1,较小的孩子结点编码为θ.为亐上述约定统一起见,下文中提到的“左孩子结点”都是指权值较大的孩子结点3背景知识word2vec是用来生成词向量的工具,而词向量与语言模型有着密切的关系,为此,不妨先来了解一些语言模型方面的知识83.1统计语言模型当今的互联网迅猛发展,每天都在产生大量的文本、图片、语音和视频数据,要对这些数据进行处理并从中挖掘出有价值的信息,离不开自然语言处理( Nature Language processingNIP)技术,其中统计语言模型( Statistical language model)就是很重要的一环,它是所有NLP的基础,被广泛应用于语音识别、机器翻译、分词、词性标注和信息检索等任务例3.1在语音识别亲统中,对于给定的语音段Voie,需要找到一个使概率p(Tcrt| Voice最大的文本段Tert.利用 Bayes公式,有P(Teact Voice)p(VoiceTert)p(Text)P(Veonce其中p( Voice Teat)为声学模型,而p(Tert)为语言模型(l8])简单地说,统计语言模型是用来计算一个句子的概率的概率模型,它通常基于一个语料库来构建那什么叫做一个句子的概率呢?假设W=m1:=(n1,w2,…,tr)表示由T个词1,2,…,ur按顺序构成的一个句子,则n,U2,…,wr的联合概率p(W)=p(u1)=p(u1,u2,…,r)就是这个句子的概率.利用 Baves公式,上式可以被链式地分解为1)=p(u1)·p(u2l1)·p(vai)…p(ur1-)3.1其中的(条件)概率p(1),p(U2mn1),p(u3),…,p(urln1-1)就是语言模型的参数,若这些参数巳经全部算得,那么给定一个句子1,就可以很快地算出相应的p(1)了看起来妤像很简单,是吧?但是,具体实现起来还是有点麻烦.例如,先来看看模型参数的个数.刚才是考虑一个给定的长度为T的句子,就需要计算T个参数.不妨假设语料库对应词典D的大小(即词汇量)为N,那么,如果考虑长度为T的任意句子,理论上就有N种可能,而每种可能都要计算T个参数,总共就需要计算TN个参数.当然,这里只是简单估算,并没有考虑重复参数,但这个量级还是有蛮吓人.此外,这些概率计算好后,还得保存下来,因此,存储这些信息也需要很大的內存开销此外,这些参数如何计算呢?常见的方法有 II-gram模型、决策树、最大熵模型、最大熵马尔科夫模型、条件随杋场、神经网络等方法.本文只讨论n-gram模型和神经网络两种方法.首先来看看n-gram模型32n-gram模型考虑pko4-)(k>1)的近似计算.利用 Baves公式,有p(wr wi)P(uP(w根据大数定理,当语料库足够大时,p(k4-1)可近似地表示为P(wwi)count(wi)(3.2)count(a其中 count(u4)和 count-)分别表示词串t和v-在语料中出现的次数,可想而知,当k很大时, count(o4)和 count(4-1)的统计将会多么耗时从公式(3.1)可以看出:一个词出现的慨率与它前面的所有词都相关.如果假定一个词出现的概率只与它前面固定数目的词相关呢?这就是n-gran模型的基本思想,它作了一个n-1阶的 Markov假设,认为一个词出现的概率就只与它前面的n-1个词相关,即-1)≈p(kk-1+),于是,(3.2)就变成了p(wxJuk-)count(n+1countri(3.3以〃=2为例,就有p(uk4-1)≈count(k-1, Wk)count(Wk-1)这样一简化,不仅使得单个参数的统计变得更容易(统计时需要匹配的词串更短),也使得参数的总数变少了那么, n-gran中的参数n取多大比较合适呢?一般来说,n的选取需要同时考虑计算复杂度和模型效果两个因素表1模型参数数量与n的关系模型参数数量1( ingram)2×1052(bigram)4×10103( trigram)8×10154(4grm)16×10在计算复杂度方面,表1给出了n-gram模型中模型参数数量随着n的逐渐增大而变化的情况,其中假定词典大小N=2000(汉语的词汇量大致是这个量级).事实上,模型参数的量级是N的指数函数(O(N"),显然n不能取得太大,实际应用中最多的是采用n=3的三元模型在模型效果方面,理论上是π越大,效果越奷.现如今,互联网的海量数据以及机器性能的提升使得计算更高阶的语言模型(如n>10)成为可能,但需要注意的是,当n大到一定程度时,模型效果的提升幅度会变小.例如,当n从1到2,再从2到3时,模型的效果上升显著,而从3到4时,效果的提升就不显著了(具体可参考吴军在《数学之美》中的相关章节).事实上,这里还涉及到一个可靠性和可区别性的问题,参数越多,可区别性越好,但同时单个参数的实例变少从而降低了可靠性,因此需要在可靠性和可区别性之间进行折中另外, n-gran模型中还有一个叫做平滑化的重要环节.回到公式(3.3),考虑两个问题:若 count(uk-n+1)=0,能否认为p(kln1-1)就等于0呢?若 count(kn+)= count(uk-+1,能否认为p(uur-)就等于1呢?显然不能!但这是一个无法回避的问题,哪怕你的语料库有多么大.平滑化技术就是用来处理这个问题的,这里不展开讨论,具体可参考[11总结起来,n-gram模型是这样一种模型,其主要工作是在语料中统计各种词串岀现的次数以及平滑化处理.概率值计算好之后就存储起来,下次需要计算一个句子的概率时,只需找到相关的概率参数,将它们连乘起来就好了然而,在机器学习领域有一种通用的招数是这样的:对所考虑的问题建模后先为其构造一个目标函数,然后对这个目标函数进行优化,从而求得一组最优的参数,最后利用这组最优参数对应的模型来进行预測对于统计语言模型而言,利用最大似然,可把目标函数设为plwlConteat(w))∈C其中C表示语料( Corpus), Context(u)表示词U的上下文( Context),即周边的词的集合.当 Context(u)为空时,就取p( Context(w)=p(u).特别地,对于前面介绍的 n-gran模型,就有 Context(mn)=2-n+1注3.1语料￠和词典仍的区别:词典仍是从语料￠中抽取岀来的,不存在重复的词;而语料C是指所有的文本內容,包括重复的词当然,实际应用中常采用最大对数似然,即把目标函数设为∑ logp(u( ontext(o)(3.4)然后对这个函数进行最大化从(3.4)可见,概率p( CONtex()已被视为关于和 Context()的函数,即p(w Context(w))= F(w, Conteact(w), 0)
- 2020-06-14下载
- 积分：1
ucGUI中文教程（STM32实例非常详细）emWin教程
ucGUI、emWin中文教程，结合源码非常详细。《安富莱_STM32-V5开发板_STemWin教程》，包括模拟器、guibuilder使用等ARMFL武汉安富莱电子有限公司Www.ArmfLy.Com安富莱STM32-V5开发板 STemWin教程教程使用说明本教程配套的硬件开发平台是安富菜电子自主设计的STM32V5开发板。安富菜其他系列的STM32开发板也可以使用这个手册,我们的论坛www.armfly.con上有移植好的工程不过需要大量动态内存的例子是无法运行的。使用本教程前,请先按照第三章的教程进行触摸校准,将触摸参数保存到 EEPROM里面,后面所有的例子都会自动加载触摸参数。■基本涵盖了所有 STemWin知识点及其控件的使用,部分复杂的控件会在后期升级的教程中增加上去。完美解决 STemWin支持的BMP、JPG、GIF、PNG图片显示。完美解决 STemWin支持的字体显示,XBF、SIF、矢量字体显示。■教程中提供的 emWin的移植方法,可以完美支持各种显示屏,不受官方显示驱动限制。■所有的控件教程都有配套使用 GUIBulder5.22和u CGUIBulder40建立的例子。■大部分例子均支持在模拟器、MDK和IAR三个版本上面运行。STM32V5开发板相关资料地址:ahttp://bbs.armfly.com/readphp?tid=1139ahttp://bbs.armfly.com/readphp?tid=1285ahttp://bbs.armfly.com/read.php?tid=2103第3页共574页ARMFL武汉安富莱电子有限公司Www.ArmfLy.Com安富莱STM32-V5开发板 STemWin教程第1章 STemWin介绍本期教程开始带领大家了解-下 STemWin的基本知识,其实确切的讲应该叫eηwin基础知识,由于教程使用的开发板是ST的微控制器,所以就把名字统一命名成 STemWin(为什么叫 STemWin,在下面会有详细的讲解)。1.1 STemwin, emwin,μCGU之间的关系1.2 SEGGER公司介绍1.3 STemwin介绍14STM32F103和407跑 STemWin性能测试15 STemWin论坛16总结11 STemWin,emWn,μCGU之间的关系这个放在最开头进行说明,因为很多的初学者比较的迷惑对于一些刚学GUI的用户来说,知道μCGU的比较多,而不知道所谓的 emWin或者 STemWin。这个并不奇怪,主要是因为大部分人只知道 SEGGER公司的做的儿LINK,而不知道他们还有RTOS和相关的中间件(中间件的意思就是基于RTOS的文件系统,GUI,USB主机和设备协议栈等)。11.1卩CGU在国内比较火的原因μcGUI在国内前几年比较火的原因有三点●一个是μCOSI在国内的推广,自从 Micrum公司出的那本《嵌入式实时操作系统μCOSⅢ》发布之后,国內关于μCOSⅡ的资料就是普天盖起,再加上各种培训机构和开发板的推广,μCOSⅡ就在国内火起来了。μCOS火的同时,它配套的中间件,特别是μCGUI就跟着在国内火了起来●前几年国内有一个μCGUI的论坛,这个论坛在国内的μCGU方面应该算是做得最好的,特别是那个站长在μCGUI方面的研究,这位站长对于μCGUI在国内的发展功不可没●还有一个原因就是μCGU是带有源码的,很多时候可以通过修改部分的源码实现—些特殊的功能,现在网上流传的μCGUI的源码已经不知道经过多少人的手被修改过,最原始的的代码已经在官网上面找不到了。第4页共574页ARMFL武汉安富莱电子有限公司Www.ArmfLy.Com安富莱STM32-V5开发板 STemWin教程112 emwin和μCGU的关系首先要明白,这两个GUI是一个东西。最初这个GU就是 SEGGER公司的,然后以什么的方式授权给μcGUI就不清楚了。现在 SEGGER公司是这个GUI的主要推动者,已经将其授权给了多个芯片生产厂家。11.3 STemWin和emWn的关系STemWin是 SEGGER公司授权给ST(意法半导体)的。使用ST芯片的用户可以免费使用 STemWin其实不光授权给了ST,还有NXP, Energy micro等。凡是使用这些芯片厂商生产的处理器都可以免费的使用 emwin。但是出于一定的保护措施,使用 STemWin的库是不能用在其它芯片厂商的处理器上面的。因为在工程初始化 STemWin前要使能CRC校验。如果没有使能, STemWin是启动不起来的。 KEIL MDK的安装目录里面也带有 emwin软件包,这个软件包也不是可以直接使用的,用户需要给 KEIL MDK注册RL-ARM才可以使用。这里 STemWin还针对ST的微控制器做了专门的优化,比如在使用ST的F4XX微控制器带FPU的芯片时, STemWin在需要浮点处理的地方专门做了优化114 emWin5Xx版本和以前版本的不同emWin发展到50版本以后已经产生了很大的更新,特别是底层驱动方面。 emWin5xx版本向下完全的兼容低版本,当然包括μcGUI巧5ⅹX以下的版本,也就说如果用户有在μCGUI5×以下版本建立的工程完全可以用在高版本上面(条件是没有修改过源码)。这里不建议初学者修改源代码,修改过后会破坏现有的机制。在以后的使用中会养成不好的习惯,只要某些功能无法实现就去修改源码随着修改的增多会严重的破坏现有的机制。emwin5xX以后的版本只有库,没有源码。对于一些想研究源码的,可以看早期的版本,了解一下通讯机制。不过对于大多数从应用角度出发的,完全没有必要学习源码,源码内容太多。对于一些无法实现的功能,在 emWin5ⅹ上面得到了很大的改善,基本不需要修改源码。如果通过各种方法实在无法实现,完全可以使用 emWin支持的用户控件设计方法做一个符合要求的.12 SEGGER公司介绍SEGGER公司应该算是一家老牌的调试工具以及RTOS及中间件的生产商。 SEGGER公司成立于1997年,到现在的2014年,有差不多17年的历史了,这家公司主要有两个 office,一个是在德国的 Hilden,另个在美国的 Massachusetts。官网还有一个他们工作地方的照片,看着很不错,我这里也把这个照片贴第5页共574页ARMFL武汉安富莱电子有限公司Www.ArmfLy.Com安富莱STM32-V5开发板 STemWin教程国SEGGER公司的产品主要有三个方向,分别如下:121RToS及其中间件SEGGER公司的RTOS是 embos,在国内知道的人可能比较少。 SEGGER做的 embos和中间件都是以库的形式供用户下载的,除非购买了使用权。产品主要如下o embos(Real Time Operating System)embos/IP(TCP/IP Stack)o emWin(Graphic Software Gui)● em File( File System)emUSB Device(USB device Stack)e emUSB Host(USB Host stackemModbus( Modbus StackmoDbus是今年(2014年)刚刚发布的。第6页共574页ARMFL武汉安富莱电子有限公司Www.ArmfLy.Com安富莱STM32-V5开发板 STemWin教程122J-Link调试工具J-Link应该大家都不陌生,它是有 SEGGER公司设计的。具体的J-Link产品有好几款,具体如下●J- Link pro●J- Link ultra+●J- Link plus●J-Link●J- Trace Cortex-M3●J- Trace arm1.2.3 Production Programmers这个工具在国内用的比较少,主要如下几款产品:●F| asher armFlasher rx●F| asher stm8● Flasher st7● Flasher5● Flasher5PRo上面说的这三项应该算是SEGGER公司的主营产品,更详细的可以上面他们的官网www.segger.con进行了解。13 STemWin介绍emwin5X版本设计出来的界面还是非常漂亮的,先贴几个相关的设计图片,让大家有一些感官的认识131 STemWin设计界面●第一幅是官方设计的图片第7页共574页ARMFL武汉安富莱电子有限公司Www.ArmfLy.Com安富莱STM32-V5开发板 STemWin教程Coffee machineAirplane monitoring system666垂●Washing machineProcess automation40°C900Detergent40%3Dashboardx-Ray machineCEPHP114.1540整体来说,这些图片还是非常漂亮的,不过这些界面不是用专门的控件显示出来的,使用的2D绘图配合内存设备管理实现的。●下面的是在STM32V5开发板上面实现的界面总的来说这些界面还是非常漂亮的,关于STM32V5开发板更详细的资料可以看如下两个地址http://bbs.armfly.com/read.php?tid=1285http://bbs.armfly.com/read.php?tid=1139第8页共574页ARMFL武汉安富莱电子有限公司Www.ArmfLy.Com安富莱STM32-V5开发板 STemWin教程凹春Computer SettingsPictureletoonCameraClockFMAMamazonMPMP3RecorderensorTextUs日edioSignal201304303%177:28TueTask Manage▲进程性能实验目的优先级堆栈使用堆栈余堆栈分比CPU任务名字59869388%3. 70% App Task GUIRefresh60516358012%0. 30% App Task GUI10891610%0. 05% App Task UserIF749507%0.07% App Task COM829420. 00% App Task Update8219664%0. 00% App Task Start62636549%0. 01% uC/OS-III Timer Task62 6464 50% 0.47% uC/OS-III Stat Task646450%0. 83% uC/OS-III Tick Task63527640%94. 53% uC/OS-III Idle Task201343017:18:14Tue第9贪共574页ARMFL武汉安富莱电子有限公司Www.ArmfLy.Com安富莱STM32-V5开发板 STemWin教程File ManageFile Edit HelpOpen noneHardDiskUsed: 3MB Total: 126MBsed: 442MB Total: 1963MBUsed: 130MB Total: 7441MBCamera的oV7570&MT9D111OPEN USB HOSTOPEN USB HOSTCLOSE USB HOSTr OPEN USB DEVICE CLOSE USE DEVICEReady2013/43017:U7:49Tue132目标系统(硬件)目标系统必须具有:一个CPU(8/16/32/64位)一个具有最小内存的RAM和ROM一个完整图形显示器(任何类型和任何分辨率)存储器要求取决于使用的是软件的哪部分以及目枟编译器的效率。因此不可能指定精确的值,但是以下值适用于典型的系统。小系统(无窗口管理器)●RAM:100字节堆栈:600字节ROM:10-25kb(取决于所使用的功能)大系统(包含窗口管理器和小工具)RAM:2-6kb(取决于所需的窗口数)堆栈:1200-1800字节(取决于所使用的功能)ROM:30-60kb(取决于所使用的功能)请注意,如果应用程序使用了很多字体,则对ROM的要求会提高。上述所有值都是粗略估算值,不第10页共574页
- 2021-05-06下载
- 积分：1
