Google word2vec算法 数学原理
文档是 word2vec 算法 数学原理详解。word2vec是google的一个开源工具，能够仅仅根据输入的词的集合计算出词与词直接的距离，既然距离知道了自然也就能聚类了，而且这个工具本身就自带了聚类功能，很是强大。32预备知识本节介绍word2v中将用到的一些重要知识点,包括 sigmoid函数、 Bccs公式和Huffman编码等821 sigmoid函数sigmoid函数是神经网络中常用的激活函数之一,其定义为1+e该函数的定义域为(-∞,+∞),值域为(0,1).图1给出了 sigmoid函数的图像0.56图1 sigmoid函数的图像sigmoid函数的导函数具有以下形式(x)=0(x)1-0(x)由此易得,函数loga(x)和log(1-0(x)的导函数分别为log a(a)-1 a(a),log(1 o(a))l-a(a),(2.1)公式(2.1)在后面的推导中将用到32.2逻辑回归生活中经常会碰到二分类问题,例如,某封电子邮件是否为垃圾邮件,某个客户是否为潜在客户,某次在线交易是否存在欺诈行为,等等设{(x;)}温1为一个二分类问题的样本数据,其中x∈Rn,∈{0,1},当v=1时称相应的样本为正例当v=0时称相应的样本为负例利用 sigmoid函数,对于任意样本x=(x1,x2,…,xn),可将二分类问题的 hypothesis函数写成h(x)=o(6o+b1x1+62+…+bnxn)其中θ=(0,61,…,On)为待定参数.为了符号上简化起见,引入x0=1将x扩展为(x0,x1,x2,……,xn),且在不引起混淆的情况下仍将其记为ⅹ.于是,he可简写为取阀值T=0.5,则二分类的判别公式为ho(x)≥0.5:X)=0,ha(x)6),可分别用000001、010、011、100、101对“A,E,R,T,F,D”进行编码发送,当对方接收报文时再按照三位一分进行译码显然编码的长度取决报文中不同字符的个数.若报文中可能出现26个不同字符,则固定编码长度为5(25=32>26).然而,传送报文时总是希望总长度尽可能短.在实际应用中各个字符的出现频度或使用次数是不相同的,如A、B、C的使用颗率远远高于X、Y、Z,自然会想到设计编码时,让使用频率高的用短码,使用频率低的用长码,以优化整个报文编码为使不等长编码为前缀编码(即要求一个字符的编码不能是另一个字符编码的前缀),可用字符集中的每个字符作为叶子结点生成一棵编码二叉树,为了获得传送报文的最短长度,可将每个字符的岀现频率作为字符结点的权值赋于该结点上,显然字使用频率越小权值起小,权值越小叶子就越靠下,于是频率小编码长,频率高编码短,这样就保证了此树的最小带权路径长度,效果上就是传送报文的最短长度.因此,求传送报文的最短长度问题转化为求由字符集中的所有字符作为叶子结点,由字符出现频率作为其权值所产生的 Huffman树的问题.利用 Huffman树设计的二进制前缀编码,称为 Huffman编码,它既能满足前缀编码的条件,又能保证报文编码总长最短本文将介绍的word2ve工具中也将用到 Huffman编码,它把训练语料中的词当成叶子结点,其在语料中岀现的次数当作权值,通过构造相应的 Huffman树来对每一个词进行Huffman编码图3给岀了例2.1中六个词的 Huffman编码,其中约定(词频较大的)左孩子结点编码为1,(词频较小的)右孩子编码为0.这样一来,“我”、“喜欢”、“观看”、“巴西”、“足球”、“世界杯”这六个词的 Huffman编码分别为0,111,110,101,1001和100000欢观有巴西足球图3 Huffman编码示意图注意,到目前为止关于 Huffman树和 Huffman编码,有两个约定:(1)将权值大的结点作为左孩子结点,权值小的作为右孩子结点;(②)左孩子结点编码为1,右孩子结点编码为0.在word2vee源码中将权值较大的孩子结点编码为1,较小的孩子结点编码为θ.为亐上述约定统一起见,下文中提到的“左孩子结点”都是指权值较大的孩子结点3背景知识word2vec是用来生成词向量的工具,而词向量与语言模型有着密切的关系,为此,不妨先来了解一些语言模型方面的知识83.1统计语言模型当今的互联网迅猛发展,每天都在产生大量的文本、图片、语音和视频数据,要对这些数据进行处理并从中挖掘出有价值的信息,离不开自然语言处理( Nature Language processingNIP)技术,其中统计语言模型( Statistical language model)就是很重要的一环,它是所有NLP的基础,被广泛应用于语音识别、机器翻译、分词、词性标注和信息检索等任务例3.1在语音识别亲统中,对于给定的语音段Voie,需要找到一个使概率p(Tcrt| Voice最大的文本段Tert.利用 Bayes公式,有P(Teact Voice)p(VoiceTert)p(Text)P(Veonce其中p( Voice Teat)为声学模型,而p(Tert)为语言模型(l8])简单地说,统计语言模型是用来计算一个句子的概率的概率模型,它通常基于一个语料库来构建那什么叫做一个句子的概率呢?假设W=m1:=(n1,w2,…,tr)表示由T个词1,2,…,ur按顺序构成的一个句子,则n,U2,…,wr的联合概率p(W)=p(u1)=p(u1,u2,…,r)就是这个句子的概率.利用 Baves公式,上式可以被链式地分解为1)=p(u1)·p(u2l1)·p(vai)…p(ur1-)3.1其中的(条件)概率p(1),p(U2mn1),p(u3),…,p(urln1-1)就是语言模型的参数,若这些参数巳经全部算得,那么给定一个句子1,就可以很快地算出相应的p(1)了看起来妤像很简单,是吧?但是,具体实现起来还是有点麻烦.例如,先来看看模型参数的个数.刚才是考虑一个给定的长度为T的句子,就需要计算T个参数.不妨假设语料库对应词典D的大小(即词汇量)为N,那么,如果考虑长度为T的任意句子,理论上就有N种可能,而每种可能都要计算T个参数,总共就需要计算TN个参数.当然,这里只是简单估算,并没有考虑重复参数,但这个量级还是有蛮吓人.此外,这些概率计算好后,还得保存下来,因此,存储这些信息也需要很大的內存开销此外,这些参数如何计算呢?常见的方法有 II-gram模型、决策树、最大熵模型、最大熵马尔科夫模型、条件随杋场、神经网络等方法.本文只讨论n-gram模型和神经网络两种方法.首先来看看n-gram模型32n-gram模型考虑pko4-)(k>1)的近似计算.利用 Baves公式,有p(wr wi)P(uP(w根据大数定理,当语料库足够大时,p(k4-1)可近似地表示为P(wwi)count(wi)(3.2)count(a其中 count(u4)和 count-)分别表示词串t和v-在语料中出现的次数,可想而知,当k很大时, count(o4)和 count(4-1)的统计将会多么耗时从公式(3.1)可以看出:一个词出现的慨率与它前面的所有词都相关.如果假定一个词出现的概率只与它前面固定数目的词相关呢?这就是n-gran模型的基本思想,它作了一个n-1阶的 Markov假设,认为一个词出现的概率就只与它前面的n-1个词相关,即-1)≈p(kk-1+),于是,(3.2)就变成了p(wxJuk-)count(n+1countri(3.3以〃=2为例,就有p(uk4-1)≈count(k-1, Wk)count(Wk-1)这样一简化,不仅使得单个参数的统计变得更容易(统计时需要匹配的词串更短),也使得参数的总数变少了那么, n-gran中的参数n取多大比较合适呢?一般来说,n的选取需要同时考虑计算复杂度和模型效果两个因素表1模型参数数量与n的关系模型参数数量1( ingram)2×1052(bigram)4×10103( trigram)8×10154(4grm)16×10在计算复杂度方面,表1给出了n-gram模型中模型参数数量随着n的逐渐增大而变化的情况,其中假定词典大小N=2000(汉语的词汇量大致是这个量级).事实上,模型参数的量级是N的指数函数(O(N"),显然n不能取得太大,实际应用中最多的是采用n=3的三元模型在模型效果方面,理论上是π越大,效果越奷.现如今,互联网的海量数据以及机器性能的提升使得计算更高阶的语言模型(如n>10)成为可能,但需要注意的是,当n大到一定程度时,模型效果的提升幅度会变小.例如,当n从1到2,再从2到3时,模型的效果上升显著,而从3到4时,效果的提升就不显著了(具体可参考吴军在《数学之美》中的相关章节).事实上,这里还涉及到一个可靠性和可区别性的问题,参数越多,可区别性越好,但同时单个参数的实例变少从而降低了可靠性,因此需要在可靠性和可区别性之间进行折中另外, n-gran模型中还有一个叫做平滑化的重要环节.回到公式(3.3),考虑两个问题:若 count(uk-n+1)=0,能否认为p(kln1-1)就等于0呢?若 count(kn+)= count(uk-+1,能否认为p(uur-)就等于1呢?显然不能!但这是一个无法回避的问题,哪怕你的语料库有多么大.平滑化技术就是用来处理这个问题的,这里不展开讨论,具体可参考[11总结起来,n-gram模型是这样一种模型,其主要工作是在语料中统计各种词串岀现的次数以及平滑化处理.概率值计算好之后就存储起来,下次需要计算一个句子的概率时,只需找到相关的概率参数,将它们连乘起来就好了然而,在机器学习领域有一种通用的招数是这样的:对所考虑的问题建模后先为其构造一个目标函数,然后对这个目标函数进行优化,从而求得一组最优的参数,最后利用这组最优参数对应的模型来进行预測对于统计语言模型而言,利用最大似然,可把目标函数设为plwlConteat(w))∈C其中C表示语料( Corpus), Context(u)表示词U的上下文( Context),即周边的词的集合.当 Context(u)为空时,就取p( Context(w)=p(u).特别地,对于前面介绍的 n-gran模型,就有 Context(mn)=2-n+1注3.1语料￠和词典仍的区别:词典仍是从语料￠中抽取岀来的,不存在重复的词;而语料C是指所有的文本內容,包括重复的词当然,实际应用中常采用最大对数似然,即把目标函数设为∑ logp(u( ontext(o)(3.4)然后对这个函数进行最大化从(3.4)可见,概率p( CONtex()已被视为关于和 Context()的函数,即p(w Context(w))= F(w, Conteact(w), 0)
- 2020-06-14下载
- 积分：1
TracePro应用实例详解-
TracePro应用实例详解-压缩版（内容不变）目录绪论光学设计基础知识1第一章导光管设计实例6第二章背光源设计实例12第三章LED设计实例-..1.18第四章手电筒设计实例由南南由南虚由由面鱼出面量自音s面自自鱼自自西由自由由由由由面由垂型由面由昏音面垂香量看证自音西垂45第五章积分球设计实例,54第六章LED设计实例二…第七章分光棱镜模拟实例……---77第八章LED汽车前照灯设计实例影中中中着,着看e,第九章简易荧光灯模型设计实例……100第十章投影仪设计实例…11111114第十一章红外光气体检测系统设计实例140第十二章荧光粉模拟实例150第十三章LED色温模拟实例…--1160第十四章消除杂散光模拟实例……167第十五章二级复合抛物面聚光器设计实例177第十六章矩形路灯聚光器的优化设计198第十七章一种LED植物生长灯的设计与制作…207第十八章简易筒灯的模拟与设计216绪论光学设计基础知识在开始本书前,我们需要了解一些基础的光学知识。一、光度学基本概念光通量:单位时间内光辐射能量的大小。它表示光源的发光能力。光通量单位:流明(lm),指lcd的均匀点光源在lsr内的光通量。发光强度(光强);光通量的角(空间的)密度,即在一定方向上的单位立体角内所发出的光通量。常用于说明光源和灯具发出的光通量在空间各方向或选定方向上的分布密度。发光强度的单位:坎德拉cd,lcd=1mSr,是国际单位制的基本单位。立体角:是任意一封闭的圆锥面内所包含的空间。单位是球面度(Sr),即以锥顶为球心,以r为半径作一圆球,如果锥面在圆球上截得的面积A为r的平方,则该立体角为一个单位立体角,而一个球体包含4π球面度。1979年10月第10届国际计量大会透过的坎德拉定义为:一个光源发出频率为540.0E1Hz的单色辐射(对应于空气中波长为550nm的单色辐射),若在一定方向上的辐射强度为1/683Wsr,则光源在该方向上的发光强度为1cd照度:单位面积(被照射面)上入射的光通量。照度单位;勒克斯(1x)注:1kx的照度是比较小的,在此照度下仅能大致辨认周围物体。晴朗的盈月夜晚,地面照度大约为0.2x;白天采光良好的室内照度为100-500x;晴天室外太阳散射光下,地面的照度约为10001x;中午太阳光照射下,地面的照度可达100001x光出射度:单位面积(发光面)上发射的光通量。其单位:辐射勒克斯(rlx)。亮度(台湾又称辉度):在一个广光源上取一个单元面积dA,从与表面法线成角的方向上去观察,在这个方向上的光强与所可见的光源面积之比,定义为光源在该方向的亮度。单位:尼特(坎德拉每平方米,cdm2)。注:太阳的亮度为1.6*10E9以上,碳极弧光灯(1.8-12)*10E8,钨丝灯(2.0-20)*10E6,蜡烛(0.5-1.0)*10OE4,蓝天0.8*10E4暗适应:由光亮处进入到黑暗处,开始一切都看不见,经过一段时间才能看见物体轮廊。所需时间较长,一般几分钟以上。明适应:有暗处进入到亮处时,开始也不能辨别物体,几秒到几十秒后才能看清物体。在有明暗变化的视场内,应考虑照明的过渡。后像:在高亮度的闪光之后,往往会感到有一连串的影像,以不规则的强度和不断降低的频率正负交替出现,即后像。强烈的后像对视力工作有很大害处。应避免。眩光:视场中有极高的亮度或强烈的亮度对比时,会造成视觉下降和眼睛的不舒适,这种现象称为眩光。前者为失能眩光,后者为不舒适眩光。不舒适眩光取决于视场内的尺寸亮度数量位置以及背景亮度等原素。注:一个明亮光源发出的光线,被一个有光泽或半光泽的表面射入观察者眼睛,可能产生轻度分散注意力甚至不舒适的感觉。当这种反射发生在作业面上时,称为“光幕反射”,如发生在作业面以外时,称为“反射眩光”。颜色:眼睛能够辨别背景上的被观察对象(细节),必须满足以下两个条件之对象与背景有不同的颜色(颜色对比),或者对象与背景在亮度上有一定的差别(亮度对比)。可见度(能见度,视度):表示被识别对象看清楚的程度。反射,折射,透射,吸收:1.据能量守衡定律,材料的反射系数+透射系数+吸收系数=1铝(普通)的反射系数为60-73%,吸收系数为2740%。铝(电解抛光)的反射系数为75-84%(光泽),62-70%(无光)。铬反射系数为65%,吸收系数为35%2.光的反射分类:定向反射( Specular reflection),散反射( Spread Reflection),漫反射( )effuse Reflection),混合反射( Compound Reflection)3.折射:水的临界折射角为48.5°,玻璃的临界折射角为30°到40°。玻璃的折射率为1.5左右。4.光的透射分类:定向透射,散透射( Spread Transmission),漫透射( DiffuseTransmission),混合透射( Mixed Transmission)5.光在玻璃表面垂直入射时,入射光在入射面被反射4%,在透过面被反射3-4%,被吸收2-8%,透过率为80-90%6.材料的表面的光反射和光透射具有光谱选择性。二、LED光学设计基础知识为了使LED芯片发出的光能够更好地输出,得到最大程度的利用,并且在照明区域内满足设计要求,需要对LED进行光学系统的设计。其中,在封装过程中的设计被称为一次光学设计;而在LED之外进行的光学设计被称为二次光学设计①一次光学设计LED芯片只是一块很小的固体,它的两个电极要在显微镜下才能看见,加入电流后它才会发光。在制作工艺上,除了要对LED芯片的两个电极进行焊接,从而引出正、负电极之外,同时还要对LED芯片和两个电极进行保护。因此,这就需要对LED芯片进行封装。在封装的过程中,为了能够最高效率地输出可见光的功能,需要进行光学设计,合适选择封装材料的形状、结构和材料,这种设计在业内被称为一次配光设计次配光设计主要是决定发光器件的出光度、光通量大小、光强大小、光强分布等。而影响封装出光效率的高低、效果的好坏,主要是由芯片、支架和模粒三要素来决定的。②二次光学设计在使用LED发光器件时,整个系统的出光效果、光强、色温的分布状况也必须进行设计,把器件发出的光线集中到期望的照明区域内,从而让整个LED照明系统能够满足设计的需要,这被称为二次光学设计。二次光学设计必须在LED发光器件次配光设计的基础上进行。一次配光设计是保证每个LED发光器件的出光质量,考虑将LED芯片中发出的光能尽量多地取出。而二次配光设计是考虑怎样把LED器件发出的光线集中到期望的照明区域上,从而让整个系统发出的光能满足设计需要。从某种意义上来说,只有封装设计即一次配光设计)合理,才能保证系统的二次配光设计顺利实现,从而提高照明和显示的效果。基于LED的二次配光设计,对最终的照明器件和产品的性能起着至关重要的作用。第一,部分光线未能达到有效的照明范围从而导致能量的损失,需要使用大数值孔径的光学系统对光线进行汇聚,进一步提高光能利用率;第二,封装之后,像面照度分布均匀性达不到改计要求,难以在每一点的照度值都大于要求的最低照度值,这都需要对LED进行二次配光设计。日前市场上常用的光学设计和分析程序主要有美国焦点软件公司开发的ZEMAX、 Optical Research Associates的 CODE V和 Light Tools、 Breault ResearchOrganization的ASAP以及 Lambda research的 TracePro等。ZEMAX是美国焦点软件公司所发展出的光学设计软件,可做光学组件设计与照明系统的照度分析,也可建立反射、折射、绕射等光学模型,并结合优化,公差等分析功能,是套可以运算 Sequential及Non- Sequential的软件。 ZEMAX不仅功能强大,而且具备直观性、软件灵活、优化快速、容易操作使用等优点,与其他软件不同的是 ZEMAX的CAD转档程序都是双向的,如IGES、STEP、SAT等格式都可转入及转出。当前有三种不同的版本: ZEMAX-SE(标准版); ZEMAX-XE(展版)ZEMAX-EE传专业版)。 ZEMAX在成像光学,特别是透镜设计方面应用十分广泛。CODE V是应用非常广泛的光学设计和分析软件,是世界上分析功能最全、优化功能最强的光学软件,为各国政府及军方研究部门、著名大学和各大光学公司广泛采用,并广泛适用于照相设备、摄影机和医疗器具等,功能强大使用简单灵活。其功能主要包括变焦结构优化和分析、环境热量分析、MIF和RMS波阵面基础公差分析、用户自定义优化、干涉和光学校正准直、非连续建模、矢量衍射计算及偏振、全球综合优化光学设计方法等。ASAP是 Breault Research Organization研制的一套不受限制的、非序列光线追迹软件。它具有对物理光学、成像系统和照明系统进行建模分析的强大功能,它的图形工具允许用户进行截图分析,或者对几何模型、光线追迹、分析结果进行三维演示。ASAP还可以分析散射、衍射、反射、折射、吸收、偏振、非序列光线追迹和高斯光束传播。Light Tools.是 Optical Research Associate制的一套全新的具有光学精度的交互式三维实体建模软件体系,它提供最现代化的手段直接描述光学系统中的光源、透镜、反射角、分束器、衍射光学元件、棱镜、机槭结构以及光路。由 Light Tools把光学和机械元件集合在统一的体系下处理,并配置“放置”光源、发射光线的非序列追迹强大功能,使它在系统初步设计、复杂系统设计规划、光机一体设计、杂光分析、照明系统设计分析、单位各部门间学术交流和数据交換、课题论证或产品推广等各环节中发挥重要的作用。TracePro是美国 Lambda Research公司开发的一款基于蒙特卡罗法( Mante Carlo)的非序列光线追迹(Non- Sequential Ray Tracing)软件,它是一套以符合工业标准的ACIS固体建模引擎为核心所发展出来的光学机构仿真软件,是一套结合了真实固体建模、强大光学分析功能、信息转换能力强及易上手的使用界面的仿真软件,它可将真实立体模型与光学分析紧密结合起来。目前,国际上在照明系统分析、传统光学分析、辐射度以及光度分析,在镜头杂散光分析、背光板、LED设计及应用、照明灯具、车灯、投影显示器等众多领域中已经大量采用该软件进行计算机辅助设计。本书主要采用该软件进行模拟设计(读者需对 TracePro软件的使用有一定了解,可以参考《 TracePro7.0中文使用手册》)。TracePro用于照明设计的一般流程如图1所示。建立模型□>建立模型建立光源优化属性结果不符合定义属性光线追迹结果分析图1模拟设计流程图三、几个知名品牌的LED模型下载地址下面是各个种类的LED模型下载地址,模型包括用在 Trace Pro里面的,也有Light Tools,,也有 ZEMAX的,下载下来直接在相应的软件上调用就可以了,十分方便。1.mh:http://www.philipslumileds.com/resources/design/listing.cfm?catoptical然后打开 Optical Design Resources点击LE链接2.lim(Cree):http:/www.cree.com/products/ledlamps.asp.然后打开 LED Components页面点击LED3.欧司朗http://www.osram-os.com/ray-filcs然后点击LED下载。第一章导光管设计实例在 TracePro中进行导光管设计,将使用到面平扫功能。主要步骤如下:打开 Trace Pro软件2.在下拉工具菜单 Insert选择实体模型 Insert/Primitive solids命令3.在基本实体模型设置对话框中,选择 Cylinder/Cone设置栏4.选中 Cylinder,在Bae下的 Major栏输入底面半径为2,在1op下的 Length输入30。如图1.1所示。■ nsert Pr盈itSolidsBlock Cylinder/Cone Torus I Sphere Thin Sheet IName: Obiect 1C Cylind. C Cone厂 EllipticalBTMajMajMinor aLength 30Base Posi tionBase rotationx:0Y:0Y:o2:in Degreesset,□li图1.15.点击 Insert插入,再点击缩放工具图标二如图1.2所示。ladel: [UntitledSurface 1tity 4Cyl/C图下一步将使用 Revolve对上面建立的导光管右端面进行旋转延伸操作:1.选中导光管右端面,即 Object 1下的 Surface22.执行下拉菜单 Edit/Surface/ Revolve命令。在 Revolve surface Selection对话框设置旋转角度为90度,半径为25mm。4.在位置坐标栏输入(0-2530);(100)。具体见图1.3所示。5.点击 Revolve surface插入旋转延伸。如图14所示。Revolve Surface Selection DXAngle 90planar suIfaces on副yDraft angle oin DegreesRadius250Positicn on axis of revolution Axis cf RevolutionPosition X 0Axis X 1Positon丫AxisY 0Position Z30Axis20Get Position fiom last mouse clickCalculate a Position using selected surfaceRevolve Surface图1.3Fuel: [Untitled1]回xobject I中 ur tace 0中 Surtace2Entity 4Model Source Radi anee图1最后将进行Swep面平扫,完成导光管的实体模型:1.选中端面 Surface3,执行下拉菜单 Edit/Surface/Sweep命令。2.在 Sweep Surface Selection对话框中,输入 Distance为l5mm,Draf为-2度。
- 2021-05-06下载
- 积分：1
|
联系客服（QQ：3324461878）
