Google word2vec算法 数学原理
文档是 word2vec 算法 数学原理详解。word2vec是google的一个开源工具，能够仅仅根据输入的词的集合计算出词与词直接的距离，既然距离知道了自然也就能聚类了，而且这个工具本身就自带了聚类功能，很是强大。32预备知识本节介绍word2v中将用到的一些重要知识点,包括 sigmoid函数、 Bccs公式和Huffman编码等821 sigmoid函数sigmoid函数是神经网络中常用的激活函数之一,其定义为1+e该函数的定义域为(-∞,+∞),值域为(0,1).图1给出了 sigmoid函数的图像0.56图1 sigmoid函数的图像sigmoid函数的导函数具有以下形式(x)=0(x)1-0(x)由此易得,函数loga(x)和log(1-0(x)的导函数分别为log a(a)-1 a(a),log(1 o(a))l-a(a),(2.1)公式(2.1)在后面的推导中将用到32.2逻辑回归生活中经常会碰到二分类问题,例如,某封电子邮件是否为垃圾邮件,某个客户是否为潜在客户,某次在线交易是否存在欺诈行为,等等设{(x;)}温1为一个二分类问题的样本数据,其中x∈Rn,∈{0,1},当v=1时称相应的样本为正例当v=0时称相应的样本为负例利用 sigmoid函数,对于任意样本x=(x1,x2,…,xn),可将二分类问题的 hypothesis函数写成h(x)=o(6o+b1x1+62+…+bnxn)其中θ=(0,61,…,On)为待定参数.为了符号上简化起见,引入x0=1将x扩展为(x0,x1,x2,……,xn),且在不引起混淆的情况下仍将其记为ⅹ.于是,he可简写为取阀值T=0.5,则二分类的判别公式为ho(x)≥0.5:X)=0,ha(x)6),可分别用000001、010、011、100、101对“A,E,R,T,F,D”进行编码发送,当对方接收报文时再按照三位一分进行译码显然编码的长度取决报文中不同字符的个数.若报文中可能出现26个不同字符,则固定编码长度为5(25=32>26).然而,传送报文时总是希望总长度尽可能短.在实际应用中各个字符的出现频度或使用次数是不相同的,如A、B、C的使用颗率远远高于X、Y、Z,自然会想到设计编码时,让使用频率高的用短码,使用频率低的用长码,以优化整个报文编码为使不等长编码为前缀编码(即要求一个字符的编码不能是另一个字符编码的前缀),可用字符集中的每个字符作为叶子结点生成一棵编码二叉树,为了获得传送报文的最短长度,可将每个字符的岀现频率作为字符结点的权值赋于该结点上,显然字使用频率越小权值起小,权值越小叶子就越靠下,于是频率小编码长,频率高编码短,这样就保证了此树的最小带权路径长度,效果上就是传送报文的最短长度.因此,求传送报文的最短长度问题转化为求由字符集中的所有字符作为叶子结点,由字符出现频率作为其权值所产生的 Huffman树的问题.利用 Huffman树设计的二进制前缀编码,称为 Huffman编码,它既能满足前缀编码的条件,又能保证报文编码总长最短本文将介绍的word2ve工具中也将用到 Huffman编码,它把训练语料中的词当成叶子结点,其在语料中岀现的次数当作权值,通过构造相应的 Huffman树来对每一个词进行Huffman编码图3给岀了例2.1中六个词的 Huffman编码,其中约定(词频较大的)左孩子结点编码为1,(词频较小的)右孩子编码为0.这样一来,“我”、“喜欢”、“观看”、“巴西”、“足球”、“世界杯”这六个词的 Huffman编码分别为0,111,110,101,1001和100000欢观有巴西足球图3 Huffman编码示意图注意,到目前为止关于 Huffman树和 Huffman编码,有两个约定:(1)将权值大的结点作为左孩子结点,权值小的作为右孩子结点;(②)左孩子结点编码为1,右孩子结点编码为0.在word2vee源码中将权值较大的孩子结点编码为1,较小的孩子结点编码为θ.为亐上述约定统一起见,下文中提到的“左孩子结点”都是指权值较大的孩子结点3背景知识word2vec是用来生成词向量的工具,而词向量与语言模型有着密切的关系,为此,不妨先来了解一些语言模型方面的知识83.1统计语言模型当今的互联网迅猛发展,每天都在产生大量的文本、图片、语音和视频数据,要对这些数据进行处理并从中挖掘出有价值的信息,离不开自然语言处理( Nature Language processingNIP)技术,其中统计语言模型( Statistical language model)就是很重要的一环,它是所有NLP的基础,被广泛应用于语音识别、机器翻译、分词、词性标注和信息检索等任务例3.1在语音识别亲统中,对于给定的语音段Voie,需要找到一个使概率p(Tcrt| Voice最大的文本段Tert.利用 Bayes公式,有P(Teact Voice)p(VoiceTert)p(Text)P(Veonce其中p( Voice Teat)为声学模型,而p(Tert)为语言模型(l8])简单地说,统计语言模型是用来计算一个句子的概率的概率模型,它通常基于一个语料库来构建那什么叫做一个句子的概率呢?假设W=m1:=(n1,w2,…,tr)表示由T个词1,2,…,ur按顺序构成的一个句子,则n,U2,…,wr的联合概率p(W)=p(u1)=p(u1,u2,…,r)就是这个句子的概率.利用 Baves公式,上式可以被链式地分解为1)=p(u1)·p(u2l1)·p(vai)…p(ur1-)3.1其中的(条件)概率p(1),p(U2mn1),p(u3),…,p(urln1-1)就是语言模型的参数,若这些参数巳经全部算得,那么给定一个句子1,就可以很快地算出相应的p(1)了看起来妤像很简单,是吧?但是,具体实现起来还是有点麻烦.例如,先来看看模型参数的个数.刚才是考虑一个给定的长度为T的句子,就需要计算T个参数.不妨假设语料库对应词典D的大小(即词汇量)为N,那么,如果考虑长度为T的任意句子,理论上就有N种可能,而每种可能都要计算T个参数,总共就需要计算TN个参数.当然,这里只是简单估算,并没有考虑重复参数,但这个量级还是有蛮吓人.此外,这些概率计算好后,还得保存下来,因此,存储这些信息也需要很大的內存开销此外,这些参数如何计算呢?常见的方法有 II-gram模型、决策树、最大熵模型、最大熵马尔科夫模型、条件随杋场、神经网络等方法.本文只讨论n-gram模型和神经网络两种方法.首先来看看n-gram模型32n-gram模型考虑pko4-)(k>1)的近似计算.利用 Baves公式,有p(wr wi)P(uP(w根据大数定理,当语料库足够大时,p(k4-1)可近似地表示为P(wwi)count(wi)(3.2)count(a其中 count(u4)和 count-)分别表示词串t和v-在语料中出现的次数,可想而知,当k很大时, count(o4)和 count(4-1)的统计将会多么耗时从公式(3.1)可以看出:一个词出现的慨率与它前面的所有词都相关.如果假定一个词出现的概率只与它前面固定数目的词相关呢?这就是n-gran模型的基本思想,它作了一个n-1阶的 Markov假设,认为一个词出现的概率就只与它前面的n-1个词相关,即-1)≈p(kk-1+),于是,(3.2)就变成了p(wxJuk-)count(n+1countri(3.3以〃=2为例,就有p(uk4-1)≈count(k-1, Wk)count(Wk-1)这样一简化,不仅使得单个参数的统计变得更容易(统计时需要匹配的词串更短),也使得参数的总数变少了那么, n-gran中的参数n取多大比较合适呢?一般来说,n的选取需要同时考虑计算复杂度和模型效果两个因素表1模型参数数量与n的关系模型参数数量1( ingram)2×1052(bigram)4×10103( trigram)8×10154(4grm)16×10在计算复杂度方面,表1给出了n-gram模型中模型参数数量随着n的逐渐增大而变化的情况,其中假定词典大小N=2000(汉语的词汇量大致是这个量级).事实上,模型参数的量级是N的指数函数(O(N"),显然n不能取得太大,实际应用中最多的是采用n=3的三元模型在模型效果方面,理论上是π越大,效果越奷.现如今,互联网的海量数据以及机器性能的提升使得计算更高阶的语言模型(如n>10)成为可能,但需要注意的是,当n大到一定程度时,模型效果的提升幅度会变小.例如,当n从1到2,再从2到3时,模型的效果上升显著,而从3到4时,效果的提升就不显著了(具体可参考吴军在《数学之美》中的相关章节).事实上,这里还涉及到一个可靠性和可区别性的问题,参数越多,可区别性越好,但同时单个参数的实例变少从而降低了可靠性,因此需要在可靠性和可区别性之间进行折中另外, n-gran模型中还有一个叫做平滑化的重要环节.回到公式(3.3),考虑两个问题:若 count(uk-n+1)=0,能否认为p(kln1-1)就等于0呢?若 count(kn+)= count(uk-+1,能否认为p(uur-)就等于1呢?显然不能!但这是一个无法回避的问题,哪怕你的语料库有多么大.平滑化技术就是用来处理这个问题的,这里不展开讨论,具体可参考[11总结起来,n-gram模型是这样一种模型,其主要工作是在语料中统计各种词串岀现的次数以及平滑化处理.概率值计算好之后就存储起来,下次需要计算一个句子的概率时,只需找到相关的概率参数,将它们连乘起来就好了然而,在机器学习领域有一种通用的招数是这样的:对所考虑的问题建模后先为其构造一个目标函数,然后对这个目标函数进行优化,从而求得一组最优的参数,最后利用这组最优参数对应的模型来进行预測对于统计语言模型而言,利用最大似然,可把目标函数设为plwlConteat(w))∈C其中C表示语料( Corpus), Context(u)表示词U的上下文( Context),即周边的词的集合.当 Context(u)为空时,就取p( Context(w)=p(u).特别地,对于前面介绍的 n-gran模型,就有 Context(mn)=2-n+1注3.1语料￠和词典仍的区别:词典仍是从语料￠中抽取岀来的,不存在重复的词;而语料C是指所有的文本內容,包括重复的词当然,实际应用中常采用最大对数似然,即把目标函数设为∑ logp(u( ontext(o)(3.4)然后对这个函数进行最大化从(3.4)可见,概率p( CONtex()已被视为关于和 Context()的函数,即p(w Context(w))= F(w, Conteact(w), 0)
- 2020-06-14下载
- 积分：1
MIKE21教程
不错的MIKE21中文教程，主要介绍MIKE21水动力模块方面的内容Www.Zlvo.Com42.7风场( Wind forcing)···;;;·36注意:42.8冰盖( ce coverage)4.2.9引潮势( Tidal potential)42.10降水-蒸发( Precipitation- Evaporation)….4142.1波浪辐射应力( Wave radiation)424212源( Sources4342.13水工结构物( Structures)454.2.14初始条件( nitial conditions)42.15边界条件( Boundary conditions)6142.16温度/盐度模块(Tcmpcraturc/Salinity Module)6742.17湍流模块( Turbulence module)42.8解耜( Decoupling)….…6742.9输出( Outputs)…特别说明:本手册部分内容来源于网络。Www.Zlvo.Com第一章模型介绍11简介MIKE21是一个专业的工程软件包,用于模拟河流、湖泊、河口、海湾、海岸及海洋的水流、波浪、泥沙及环境。MIKE21为工程应用、海岸管理及规划提供了完备、有效的设计环境。高级图形川户界面与高效的计算引擎的结合使得MIKE2I在世界范围内成为了一个水流模拟专业技术人员不可缺少的工具。丹麦水力研究所开发的平面二维数学模型MIKE21,曾经在丹麦、埃及、澳洲、泰国及中国香港、台湾等国家和地区得到成功应用,在丬面二维白由表面流数值模拟方面具有强大的功能。目前该软件在中国的应用发展很快,并在一些大型工程中广泛应用,如:长江口综合治理工程、杭州湾数值模拟、南水北调工程、重庆市城市排污评价、太湖富营养模型、香港新机场工程建设等。12MIKE21软件特点(1)用户界面友好,属于集成的 Windows图形界面;(2)具有强大的前、后攵理功能。在前处理方面,能根据地形瓷料进行计算网格的划分;在后处理方面具有强大的分析功能,如流场动态演示及动画制作、计算断面流量、实测与计算过程的验证、不同方案的比较等;(3)多种计算网格、模块及许可选择确俫用户根据自身需求来选择模型(4)可以进行热启动,当用户因各种原因需暂时中断MIKE21模型时,只要在上次计算时设置了热启动文件,再次开始计算时将热启动文件调入便可继续计算,极大地方便了计算时间有限制的用户;(5)能进行干、湿节点和干、湿单元的设置,能较方便地进行滩地水流的模拟:(6)具有功能强大的卡片设置功能,可以进行多种控制性结构的设置,如桥墩、堰、闸、涵洞等(7)可广泛地应用于二维水力学现象的研究,潮汐、水流,风暴潮,传热、盐流,水质,波浪紊动,湖震,防浪堤布置,船运,泥沙侵蚀、输移和沉积等,Www.Zlvo.Com被推荐为河流、湖泊、河∏和海岸水流的二维仿真模拟工具。1.3水动力模块原理131控制方程模型是基于三向不可压缩和 Reynolds值均布的 Navier-SLokes方程,并服从于 Boussinesq假定和静水压力的假定。二维非恒定浅水方程组为Ch Chu chvhSChu ahauvan h6x+=1-a=欧h-a(1-22pa ax po po ph)+-(h12)+hu,Schv chuy chvfuh-ghan h apay po aygh ap2 Po ay Po po po、ax11)+hS式中:t为时间:x,y为笛卡尔坐标系坐标;n为水位;d为静止水深;h=n+d为总水深;tn,v分别为x,y方向上的速度分量;f是哥氏力系数,f=2 osin p,(为地球白转角速度,为当地纬度;g为重力加速度;p为水的密度;Sx、SS分别为辐射应力分量;S为源项;(uy,ν)为源项水流流速。字母上带横杠的是平均值。例如,矿、ν为沿水深平均的流速,由以下公式定义hu= udz, hvdzWww.Zlvo.Com为水平粘滞应力项,包括粘性力、紊流应力和水平对流,这些量是根据沿水深平均的速度梯度用涡流粘性方程得出的:T=2A2A13,2数值解法)空间离散计算区域的空间离散是用有限体积法( Finite volume method),将该连续统体细分为不重叠的单元,单元可以是任意形状的多边形,但在这里只考虑三角形和四边形单元。在MKE软件2007版本只能是三角形网格。浅水方程组的通用形式一般可以写成上(U)=S(U)(1-6)式中:U为守恒型物理向量:F为通量向量;S为源项在笛卡尔坐标系中,二维浅水方程组可以写为OU O(F-F)O(FY-Fy)S(1-7)式中:上标/和分别为无粘性的和粘性的通量。各项分别如下:0hCu+g(FhuyOu Cha0Fk=lhAolhugh42Www.Zlvo.Comadh2thPu cy Pogn+fuhpe gn opythiPo oy Po对方程(46)第i个单元积分,并运用 Gauss原理重写可得出「a(Fa)-JA(1-9)式中:A1为单元g2的面积;I;为单元的边界;ds为沿着边界的积分变量这里使用单太求积法来计算面积的积分,该求积点位于单元的质点,同时使用中点求积法水计算边界积分,方程(49)可以写为∑FnAT=S(1-10)式中:U和S分别为第个单元的U和S的平均值,并位于单元中心;NS是单元的边界数;^厂,为第j个单元的长度阶解法和二阶解法都可以用于空间离散求解。对于二维的情况,近似的Riemann解法可以用来计算单元界面的对流流动。使用Roc方法时,界面左边的和右边的相关变量需要估计取值。二阶方法中,空间准確度可以通过使用线性梯度重构的技术来获得。而平均梯度可以用由 jawahar和 Kamath于2000年提出的方法来估计,为了避免数值振荡,模型使用了二阶TVD格式。(2)时间积分考虑方程的一般形式aU=G(U)1-11)对于二维模拟,浅水方程的求解有两种方法:一种是低阶方法,另一种是高阶方法。低价方法即低阶显式的Euer方法Un1=Un+△G(Un)(1-12)式中:为时间步长。高阶的方法为以如下形式的使用了二阶的 Runge kuttaWww.Zlvo.Com方法n12=Un+△G(U,)Un+1=Un+△G(Un+12)(1-13)(3)边界条件1)闭合边界沿着闭合边界(陆地边界),所有垂直于边界流动的变量必须为0。对于动量方程,可以得知沿着陆地边界是完全平稳的。2)开边界开边界条件可以指定为流量过程或者是水位过程3)千湿边界处理动边界问题(T湿边界)的方法是基于赵棣华(1994)和 Sleigh(1998)的处理方式。当深度较小时,该问题可以被重新表述,通过将动量通量设置为零以及只考恳质量通量来实现。只有当深度足够小时,计算不考虑该网格屮元。每个单元的水深会被监测,并且单元会被定义为干、半干湿和湿。单元面也会被监测,以确定淹没边界。满足下面两个条件单元边界被定义为淹没边界:首先单元的一边水深必须小于hn,且另一边水深必须大于h;第二,水深小于hn的单元的静水深加上另一单元表面高程水位必须大于零。满足下亩两个条件单元会被定义为干单元:首先单元中的水深必须小于干水深hn;另外,该单元的三个边界中没有一个是淹没边界。被定义为干的单元在计算中会被忽略不计。单儿破定义为半干:如果单元水深介于h和hm之间,或是当水深小于hy但有一个边界是淹没边界。此时动量通量被设定为0,只有质量通量会被计算。单元会被定义为湿:如果单元水深大于ha。此时动量通量和质量通量都会在计算中被考虑。如果模型中的区域是处在τ湿边交替区,为了避免模型计算岀现不稳定性,使用者可以启用 Flood and Dry选项。在这个情形下使用者必须设定一个干水深Www.Zlvo.Com( drying depth),淹没深度( flooding water depth)和湿水深( wetting depth)者必须满足hn
- 2020-12-09下载
- 积分：1
四层电梯MCGS组态模拟
本资源利用MCGS组态软件来模拟实现四层电梯的控制，运行。PLC WORLD处理器为核心,综合了计算机控制、自动化、通讯网络等技术的一种通用的工业控制装置。PLC电梯控制系统有如下的特点:(1)、PLC是基于工业环境下设计的控制装置,环境适应性强,可靠性高;(2)、PLC最常用的编程语言是梯形图语言,编程语言形象、直观,编程筒单,便于广大现场工程技术人员掌握。(3)、門C控制系统的体积小,重量轻,便于安装,维修方便。(4)、PLC具有自诊断、故障报警、故种类显示等功能,可以方便的实时监视系统的运行状态。(5)、现代PLG具有传统控制系统无法比拟的远程数据传送、交换、控制和监枧的网络通讯功能。1.2系统结构和控制器选型电梯的PLC控制系统的结构如图1所示,主要硬件包括:可编控制器PL0、变频器、光电旋转编码器、轿厢操纵盘、厅外呼梯盘、门机及其他电气元件等。轿箱历外上位积操纵呼梯盘组态监控楼层显示申行接入部PLC部分串行接口2分门机编拽引机变频器码器图1系统结构图PLC WORLD1.3本次实习所选用的PLG机型?以及编程软件?S7-200可编程控制器是德国西门子公司研制的一种新型可编程控制器。它工作可靠,功能极其强大,存储容量大,编程方便,输出端可直接驱动2A的继电器或接触器的线圈,抗干扰能力强。因此,能够满足电梯对电气控制系统的要求。S7-200系列小型PG( MicroPL0)可应用于各种自动化系统。紧凑的结构,低廉的成本,强大的功能使得它成为各种小型控制任务的理想解决方案。在本次设计中,利用它编写控制一个四层楼电梯的控制系统分别完成轿厢内指令,厅外召唤指令,楼层位置指示,开门控制等任务STEP7WN32是S7-200系列的PLG编程软件,可以对S7-200的所有功能进行编程。该软件在 Windows平台上运行。其基本功能是协助用户完成应用软件任务。例如:创建用户程序,修改和编辑过程中编辑器具有简单的语法检查功能。还可以直接用软件设置PG的工作方式,参数和运行监控2.四层楼电梯模拟控制的设计控制要求(1)开始时,电梯处于任意一层。(2)当有外呼电梯信号到来是,轿厢响应该呼梯信号,达到该楼层时,轿厢停止运行,(轿厢门打开,延时3秒后自动关门)(3)当有内呼电梯信号到来是,轿厢响应该呼梯信号,达到该楼层时,轿厢停止运行,(轿厢门打开,延时3秒后自动关门)(4)在电梯轿厢运行过程中,即轿厢上升(或下降)途中,任何反PLC WORLD方向下降(或上升)的外呼信号均不响应,但如果反方向外呼梯信号前方再无其他内、外呼梯信号时,则电梯响应该外呼梯信号。例如,电梯轿厢在一楼,将要运行到三楼,在次过程中可以响应二层向上的外呼梯信号,但不响应二层向下的外哗梯信号。当到达三层,如果四层没有任何呼梯信号,则电梯可以响应三层向下外呼梯信号。否则,电梯将继续运行至四楼,然后向下运行响应三层向下外呼梯信号(5)电梯具有最远反向外呼梯功能。例如,电梯轿厢在一楼,而同时有二层向下呼梯,三层向下呼梯,四层向下外吇梯,则电梯轿厢先去四楼响应四层向下外呼梯信号。(6)电梯未平层或运行时,开门按钮和关门按钮均不起作用。平层且电梯轿厢停止运行后,按开门按钮轿厢开门,按关门按钮轿厢关门。3.I/0点的分配如下10.0S4四层内呼|10.7U1层上呼10.1S3层内呼11.0U2二层上呼10.2S2二层内呼11.1U3三次上呼10.3S1层内呼11.2SQ1层限位PLC WORLD10.4D4四层下呼11.3SQ2二层限位10.5D3层下呼11.4SQ3三层限位10.6D2二层下呼11.5SQ4四层限位Q0.0L4轿厢在四Q1.0SL2内呼二层层指示Q0.1L3轿厢在三Q1.1SL1内呼一层层指示Q0.2L2轿厢在二Q12外呼一层层上指示00.3L1轿厢在一Q1.3UP2外呼二层层上指示Q0.4DOWN轿厢上行Q1.4UP3外呼三层上指示Q0.5UP轿厢下行Q1.5DN2外呼二层下指示00.6sL4内呼四层Q1.6dn3呼三层指示下指示Q0.7内呼三层Q1.74外呼四层指示下指示4.PLC编程程序如下:4.1指令表:PLC WORLDsgLDsa22sq33sq1414Dsq0LD MO. 50MO. 4ALDLDSg2sq10MO. 5LDMO. 7M0. 6ALDOLDM2.0PLC WORLDsgdownLDMO. 7MO. 6ALDLD14sqdownM0. 6DMO. 5MO. 4ALDOLDM2.1MO. 2ANM3.0ownsq2sa3ANg4OLDPLC WORLDM3.3sg3sa2qAN MO. 5AMO. 7M2.0M3.3LDN MO. 2ANM2.7LDn sq 1AN213sqOLDM3.4g40sa3PLC WORLDsq200AAdownM0. 6MO. 3MO. 4LDM2.1M3.6OLDM3.4downd4sq4AL0ADd3sq3OLD20d22OLDusq
- 2020-07-02下载
- 积分：1
