Google word2vec算法 数学原理
文档是 word2vec 算法 数学原理详解。word2vec是google的一个开源工具，能够仅仅根据输入的词的集合计算出词与词直接的距离，既然距离知道了自然也就能聚类了，而且这个工具本身就自带了聚类功能，很是强大。32预备知识本节介绍word2v中将用到的一些重要知识点,包括 sigmoid函数、 Bccs公式和Huffman编码等821 sigmoid函数sigmoid函数是神经网络中常用的激活函数之一,其定义为1+e该函数的定义域为(-∞,+∞),值域为(0,1).图1给出了 sigmoid函数的图像0.56图1 sigmoid函数的图像sigmoid函数的导函数具有以下形式(x)=0(x)1-0(x)由此易得,函数loga(x)和log(1-0(x)的导函数分别为log a(a)-1 a(a),log(1 o(a))l-a(a),(2.1)公式(2.1)在后面的推导中将用到32.2逻辑回归生活中经常会碰到二分类问题,例如,某封电子邮件是否为垃圾邮件,某个客户是否为潜在客户,某次在线交易是否存在欺诈行为,等等设{(x;)}温1为一个二分类问题的样本数据,其中x∈Rn,∈{0,1},当v=1时称相应的样本为正例当v=0时称相应的样本为负例利用 sigmoid函数,对于任意样本x=(x1,x2,…,xn),可将二分类问题的 hypothesis函数写成h(x)=o(6o+b1x1+62+…+bnxn)其中θ=(0,61,…,On)为待定参数.为了符号上简化起见,引入x0=1将x扩展为(x0,x1,x2,……,xn),且在不引起混淆的情况下仍将其记为ⅹ.于是,he可简写为取阀值T=0.5,则二分类的判别公式为ho(x)≥0.5:X)=0,ha(x)6),可分别用000001、010、011、100、101对“A,E,R,T,F,D”进行编码发送,当对方接收报文时再按照三位一分进行译码显然编码的长度取决报文中不同字符的个数.若报文中可能出现26个不同字符,则固定编码长度为5(25=32>26).然而,传送报文时总是希望总长度尽可能短.在实际应用中各个字符的出现频度或使用次数是不相同的,如A、B、C的使用颗率远远高于X、Y、Z,自然会想到设计编码时,让使用频率高的用短码,使用频率低的用长码,以优化整个报文编码为使不等长编码为前缀编码(即要求一个字符的编码不能是另一个字符编码的前缀),可用字符集中的每个字符作为叶子结点生成一棵编码二叉树,为了获得传送报文的最短长度,可将每个字符的岀现频率作为字符结点的权值赋于该结点上,显然字使用频率越小权值起小,权值越小叶子就越靠下,于是频率小编码长,频率高编码短,这样就保证了此树的最小带权路径长度,效果上就是传送报文的最短长度.因此,求传送报文的最短长度问题转化为求由字符集中的所有字符作为叶子结点,由字符出现频率作为其权值所产生的 Huffman树的问题.利用 Huffman树设计的二进制前缀编码,称为 Huffman编码,它既能满足前缀编码的条件,又能保证报文编码总长最短本文将介绍的word2ve工具中也将用到 Huffman编码,它把训练语料中的词当成叶子结点,其在语料中岀现的次数当作权值,通过构造相应的 Huffman树来对每一个词进行Huffman编码图3给岀了例2.1中六个词的 Huffman编码,其中约定(词频较大的)左孩子结点编码为1,(词频较小的)右孩子编码为0.这样一来,“我”、“喜欢”、“观看”、“巴西”、“足球”、“世界杯”这六个词的 Huffman编码分别为0,111,110,101,1001和100000欢观有巴西足球图3 Huffman编码示意图注意,到目前为止关于 Huffman树和 Huffman编码,有两个约定:(1)将权值大的结点作为左孩子结点,权值小的作为右孩子结点;(②)左孩子结点编码为1,右孩子结点编码为0.在word2vee源码中将权值较大的孩子结点编码为1,较小的孩子结点编码为θ.为亐上述约定统一起见,下文中提到的“左孩子结点”都是指权值较大的孩子结点3背景知识word2vec是用来生成词向量的工具,而词向量与语言模型有着密切的关系,为此,不妨先来了解一些语言模型方面的知识83.1统计语言模型当今的互联网迅猛发展,每天都在产生大量的文本、图片、语音和视频数据,要对这些数据进行处理并从中挖掘出有价值的信息,离不开自然语言处理( Nature Language processingNIP)技术,其中统计语言模型( Statistical language model)就是很重要的一环,它是所有NLP的基础,被广泛应用于语音识别、机器翻译、分词、词性标注和信息检索等任务例3.1在语音识别亲统中,对于给定的语音段Voie,需要找到一个使概率p(Tcrt| Voice最大的文本段Tert.利用 Bayes公式,有P(Teact Voice)p(VoiceTert)p(Text)P(Veonce其中p( Voice Teat)为声学模型,而p(Tert)为语言模型(l8])简单地说,统计语言模型是用来计算一个句子的概率的概率模型,它通常基于一个语料库来构建那什么叫做一个句子的概率呢?假设W=m1:=(n1,w2,…,tr)表示由T个词1,2,…,ur按顺序构成的一个句子,则n,U2,…,wr的联合概率p(W)=p(u1)=p(u1,u2,…,r)就是这个句子的概率.利用 Baves公式,上式可以被链式地分解为1)=p(u1)·p(u2l1)·p(vai)…p(ur1-)3.1其中的(条件)概率p(1),p(U2mn1),p(u3),…,p(urln1-1)就是语言模型的参数,若这些参数巳经全部算得,那么给定一个句子1,就可以很快地算出相应的p(1)了看起来妤像很简单,是吧?但是,具体实现起来还是有点麻烦.例如,先来看看模型参数的个数.刚才是考虑一个给定的长度为T的句子,就需要计算T个参数.不妨假设语料库对应词典D的大小(即词汇量)为N,那么,如果考虑长度为T的任意句子,理论上就有N种可能,而每种可能都要计算T个参数,总共就需要计算TN个参数.当然,这里只是简单估算,并没有考虑重复参数,但这个量级还是有蛮吓人.此外,这些概率计算好后,还得保存下来,因此,存储这些信息也需要很大的內存开销此外,这些参数如何计算呢?常见的方法有 II-gram模型、决策树、最大熵模型、最大熵马尔科夫模型、条件随杋场、神经网络等方法.本文只讨论n-gram模型和神经网络两种方法.首先来看看n-gram模型32n-gram模型考虑pko4-)(k>1)的近似计算.利用 Baves公式,有p(wr wi)P(uP(w根据大数定理,当语料库足够大时,p(k4-1)可近似地表示为P(wwi)count(wi)(3.2)count(a其中 count(u4)和 count-)分别表示词串t和v-在语料中出现的次数,可想而知,当k很大时, count(o4)和 count(4-1)的统计将会多么耗时从公式(3.1)可以看出:一个词出现的慨率与它前面的所有词都相关.如果假定一个词出现的概率只与它前面固定数目的词相关呢?这就是n-gran模型的基本思想,它作了一个n-1阶的 Markov假设,认为一个词出现的概率就只与它前面的n-1个词相关,即-1)≈p(kk-1+),于是,(3.2)就变成了p(wxJuk-)count(n+1countri(3.3以〃=2为例,就有p(uk4-1)≈count(k-1, Wk)count(Wk-1)这样一简化,不仅使得单个参数的统计变得更容易(统计时需要匹配的词串更短),也使得参数的总数变少了那么, n-gran中的参数n取多大比较合适呢?一般来说,n的选取需要同时考虑计算复杂度和模型效果两个因素表1模型参数数量与n的关系模型参数数量1( ingram)2×1052(bigram)4×10103( trigram)8×10154(4grm)16×10在计算复杂度方面,表1给出了n-gram模型中模型参数数量随着n的逐渐增大而变化的情况,其中假定词典大小N=2000(汉语的词汇量大致是这个量级).事实上,模型参数的量级是N的指数函数(O(N"),显然n不能取得太大,实际应用中最多的是采用n=3的三元模型在模型效果方面,理论上是π越大,效果越奷.现如今,互联网的海量数据以及机器性能的提升使得计算更高阶的语言模型(如n>10)成为可能,但需要注意的是,当n大到一定程度时,模型效果的提升幅度会变小.例如,当n从1到2,再从2到3时,模型的效果上升显著,而从3到4时,效果的提升就不显著了(具体可参考吴军在《数学之美》中的相关章节).事实上,这里还涉及到一个可靠性和可区别性的问题,参数越多,可区别性越好,但同时单个参数的实例变少从而降低了可靠性,因此需要在可靠性和可区别性之间进行折中另外, n-gran模型中还有一个叫做平滑化的重要环节.回到公式(3.3),考虑两个问题:若 count(uk-n+1)=0,能否认为p(kln1-1)就等于0呢?若 count(kn+)= count(uk-+1,能否认为p(uur-)就等于1呢?显然不能!但这是一个无法回避的问题,哪怕你的语料库有多么大.平滑化技术就是用来处理这个问题的,这里不展开讨论,具体可参考[11总结起来,n-gram模型是这样一种模型,其主要工作是在语料中统计各种词串岀现的次数以及平滑化处理.概率值计算好之后就存储起来,下次需要计算一个句子的概率时,只需找到相关的概率参数,将它们连乘起来就好了然而,在机器学习领域有一种通用的招数是这样的:对所考虑的问题建模后先为其构造一个目标函数,然后对这个目标函数进行优化,从而求得一组最优的参数,最后利用这组最优参数对应的模型来进行预測对于统计语言模型而言,利用最大似然,可把目标函数设为plwlConteat(w))∈C其中C表示语料( Corpus), Context(u)表示词U的上下文( Context),即周边的词的集合.当 Context(u)为空时,就取p( Context(w)=p(u).特别地,对于前面介绍的 n-gran模型,就有 Context(mn)=2-n+1注3.1语料￠和词典仍的区别:词典仍是从语料￠中抽取岀来的,不存在重复的词;而语料C是指所有的文本內容,包括重复的词当然,实际应用中常采用最大对数似然,即把目标函数设为∑ logp(u( ontext(o)(3.4)然后对这个函数进行最大化从(3.4)可见,概率p( CONtex()已被视为关于和 Context()的函数,即p(w Context(w))= F(w, Conteact(w), 0)
- 2020-06-14下载
- 积分：1
粗糙集理论与方法
张文修的一本比较经典的粗糙集理论的教材，感兴趣的可以参考下00140230西安交通大学数学研究生教学丛书粗糙集理论与方法张文修吴伟志梁吉业李德玉编著2001内容简介本书系统地介绍了粗糙集理论的基本内容与方法,力图概括回内外最新成果主要内容有粗糙集的基本概念,粗糙计算方法,粗糙集的代数性质与粗糙逻辑,粗幡集的各种推广模型,粗糙集与其他处理不确定或不精确问邀理论的联系以不完备信息系统下的粗糙集方法本书可作为计算机科学应用数学、自动控制、信息科学和管理工程等专业的高年级学生及研究生的教材,也可作为研究粗橢集理论与方法的科技人员的参考书书在版编目CI据粗糙集理论与方法/文修等编著.北京:科学出版社,2001酉安交道大学数学研究生教学丛书)1sBN70307984.租…山.张…Ⅲ.粗糙集Ⅳ.Ol44中图娅本图书馆CIP数据校字(2000第69236号科學当腹越出版北京东监域根北]6号鄙蝙;117斯音刮厂郾刷科学出版社发行各她新华书店经销200H年月第版开本:F5(72×1020年7月第一次印剧印张:1434型数:1-3000字数:25100定价:22.00元(如有印质量间题,我社负资调换〈新欣当今,社会巳经齿入了恻络信息时代,计算机与网络信息技术的飞速发展使得各个领域的数据和信息急剧增加(信息爆炸),并且由于入类的参与使数据与信息系统中的不确定性更加显著(复杂系统)如何从大量的、杂乱无章的、强一扰的数据(海量效据)中挖掘潜在的、有利用价值的信息(有用知识这给人类的智能信息处理能大提出了所未有的挑战.由此产生了人工智能併究的一个崭新领城——数据挖掘(ⅠM和数据库知识发现(KDD在IM和KD诸多方法中,粗糙集理论与方法对于处理复杂系统不失为一种较为有效的方法,因为它与概率方法模糊集方法和证据理论方法等其他处理不确定性问题理论的最显著约区别是它无需提供问题所需处理的数据集合之外的任何先验信息当然,由于该理论未能包含处理不精确或不确定原始数据的机制,所以与其他处理不确定性问题的理论有很强的互补性相糙集理论是波兰数学家 Z Pawiak于1982年提出的一种数据分析理论由于最初关于粗糙集理论的研究主要集中在波兰,因此当时并没有引起国际计算机界和数学界的重视,研究地域仅局限于东欧一些国家.直到1990年前后,由于该理论在数据的决策与分析、模式识别、机器学习与知识发现等方面的成功应用,才逐渐引起了世界各国学者的广泛关注.1991年 Z Pawlak的专著《料糙集—关于数据推理的理论》 Rough: Sets-- -Thearetical/etsof Reasoning about Data)的问世,标志着粗糙集理论及其应用的研究进人丁活跃时期.1992年在波兰召开了关于粗糙集理论的第一屈国际学术会议.1995年A(M(απ munication将粗糙集列为新浮现的计算机科学的研究课题.目前粗糙集理论已成为信息科学最为活跃的研究领域之一,同时,该理论还在医学、化学、材料学地理学管理科学和金融等其他学科得到∫成功的应用本书的目的是介绍粗糙集射基本理论与方法以及这理论的研究发展状况.为了闯读方倜,本书对国内外已发表的文章进行了系统化处理,规范了数学概念与符号,在统一的框架下叙述了粗糙集理论的最新研究成果,同时也包含了作者的某些新成果,期望为从事粗糙集理论研究入员和研究生进人这新领域提供捷径鉴于我们从事该领域的研究工作时间较短,加之身知识的局限性,错误与不妥之处在所难免,热忧欢迎广大同仁批评、指止作者2000年8月录第-章粗糙集理论的基本概念§【.1知识与知识库§【.2不精确范嗨,近似与粗糙集…■■■■■■■■§.3知识约简……§1.4知识的依赖性………………………………………16§1.5知识表达系统17§.6决策表『·「TT·■冒■音T曾■鲁?1音曾■上……………19§1.7区分矩阵与区分函数笫二章粗糙集模型的算法262.1信总系统和决策表TT1T1冒量26§22简单分类27氵2.3支持子集………s24决策属性的支持度………kd■p电■山白山§2.5交的计算……………33s26多个条件的支持度■『■冒■■■卩甲■罩卩『■■■b■■d■b山I凸晶d■■34氵2.7函数依赖…………………35§2.8恒等依赖甲干·!■■■冒■1■dh十■m§2.9重要性和核§2.10属性依颊性T甲“■·T曾冒會會十個ql早4■■■個會3§2.11约简T■■第三章般关系下的粗糙集模型…§3.1二元关系与邻城算子……………41§3.2二元关系与粗糙近似算子…43§3,3近似算子的其地定义形式与比较……………4§34近似算子的表示…自■■■■■■4■郾LI卜郾4■■b▲■■■■■■■·甲聊a■b■着郾山晶d§3.5程度粗榧集模型…■■會會■■‘自自自■聊即聊■b■■当dh_画第四章粗糙集代数的公理化方法…*574.1粗糙集理论的构造性方法…rr…"w…5784.2粗糙集理论的公理化方法§4.3构造性方法与公理化方法的关系…………■·■幽日··■■口■甲■【山■中中…6284.4特殊类型的粗糙集代数第五章粗糙集系统的代数结构·「丬■"■·白幽■日■『■早■卜P画■着■昌白晶画聊甲嵋目录§5.1粗糙集的Se代数§5.2粗糙近似宰间血d幽唱幽日日4:bq1即4日日B:甲44日b·甲日甲4:·甲4§5.3粗集和 Nelson代数…■_L啁↓■■■■■b§5.4粗糙概念的代数刻画■■■■■■■■■■■d口口……………85§5.5半群中的粗理想……,……………■■■■93第六章粗糙逻辑与决策■■■■■■■歌■↓■■罩↓卩■l■■罩d■b■■鄢↓■k↓db■■■■b■kd看■郾■■b矗■司■山山d■b古■■98§6,1基于完备信息系统的粗逻辑986.2决策逻辑与决策………………1"""…!…"……s…100§6.3基于不光备信息系统的模态逻辑………………115第七章变榇度粗糙集模型■【■■冒■■甲卓■■■■山d血血個■备量§7.多燃包含关系…123§72咄精度粗槌集模型中的近似集……………………………………124§73集合钓相对可辨别性…………………………-:126§74B近似的性质…128属性钓近似依赖性129§7.6近似约简…甲甲■■■郾通4阝………",130第八章概率粗糙集模型132§8有限论域上概率测度的基本知识……13§8,2信息熵…L唱■LLa133§8.3概卒粗糙集模型∵……T■■■■■■…135§8.4概率粗糙集模型的其他形式1398.5Rys决策与粗糙近似142路呂.6粗糙隶属函数与概念的联合rr1148§8.7知识的不确定性度量§B8概率粗糧集模翘和确定性粗糙集模型的比较………,155第九章模糊粗糙集模型P■s…1589.1模糊集的基本慨念158§9,2糢糊关系………………441·日·日q甲日■_日面如a甲qrpa4P自……·160§93模糊粗糙集………161§9.4甚于三角模的模糊粗欖集模型…:16889.5基于包含度的粗牲集模型……………■■和冒省●·■口■即甲看看D品J§9.6絛正型模糊粗糙集模型……■;;■■山晶;aq41即■血mm■甲甲唱1酥晶日H甲■182§9.7粗糙集与模糊集的比较■■185第十章基于随机集的粗糙集模型187§0,1随机集容度泛函t87§10.2信任函数与似然函数…d幽··『看■备如▲■p甲甲4即申日■鲁自中■暴即l88§10.3基于随机集的粗糙集模型…T·「·■■『■■■■■■Lpd■b10.4近似算子与可能性测度………"…201第十一章不完备信息系统的粗糙集方法……*………………20811.]不完备信息系统忄·■曾■■■·◆I會■■P■冒■鲁會◆4l■§112近似集2078113决策表,决策规则和知识约简……208A11.4区分函数与约简的计算司甲甲■鲁甲甲■■■p211参考文献十個■■1幽"b■213记号表………………….223第一章粗糙集理论的基本概念粗糙集理论是一·种新的处理模糊和不确定性知识的数学工具,其主要思想就是在保持分类能力不变的前提下,通过知识约简,导出问题的决策或分类规则.目前,粗集理论已被成功地应用于机器学习、决策分析、过程控制、模式识別与数据挖掘等领域.夲章介绍标准粗糙集理论( Pawlak粗糙集模型}的基本概念,作为后面各章节的基础§1.1知识与知识库投U≠是找们感兴趣的对象成的有限集合,称为论域任何子集X匚U称为U中的个概念或范畴.为规范化起见,我们认为空集也是一个概念,U中的任何概念族称关于U的抽象知识,简称知识本书上要是对在U上能形成划分的那些知识感兴趣.一个划分定义为:价=X1,X2,…,Xn1;XCU,X;≠x,X∩X=,对于i≠j,,1,2U上的族划分称为X于U的个知认库( knowledge base设R是U上的一个等价关系,U/R表示R的所有等价类(或者U上的分类构成的集合,x]R表示包含元素∈I的R等价类…个知识库就是个关系系统K=(UR),其中U为非空有限集,称为论域R是U上的一族等价关系若PCR,且P≠分,则∩P(P中所有等价关系的交集)也是一个等价关系,称为P上的不可区分〔 ndis nihility)关系,记为ind(P),且有n(P)REP这样,Und(P)(即等价关系ind(P)的所有等价美)表示与等价关系族P相关的知识,称为K中关于U的P基本知识(P基本集)为单起鬼,我们用U代替Und(P),ind(P)的等价类称为知识P的基本概念或基本范畴特别地,如果Q∈R,则称Q为K中关于U的Q初等知识,Q的等价类为知识R的Q初等概念或Q初等范畴事实上,P基本范畴是拥有知识P的论域的基本特性换句话说它们是知识的堪本模块同样,我们也可定义:当K=(,R)为一个知识库,ind(K)定义为K中第一章粗糙集埋论的基本概怠所有等价关系的族,记作ind(K)“ind(P)≠PR例1.1绘定一玩具积木的集合U={x1,x2,…,xg},并假设这些积木有不同的颜色(红、黄、蓝),形状(方,圆、三角},体积(小,大).因此,这些积木都可以用颜色形状体积这些知识来描述例如一块积木可以是红色、小而圆的,或黄色、人而方的等如果我们根据某属性描述这些积木的情况,就可以按颜色、形状、体积分类按颜色分类:17337蓝了5;6"一黄按形状分类圆方℃34丁·8角按体积分类大I5,2a换言之,我们定义三个等价关系(即属性):颜色R1,形状R2和体积R3,通过这些等价关系,可以得到下而三个等价类UR1=1{x1,x3,xy},{x25;吧U/R2=1x1,xs,x2,x6},x3,x4,x,!},夏/R3={x2,x7,x81,{x1,x3,x4,x,6这些等价类是由知识库K=(U,R1,R2,R3})中的初等概念(初等范畴)构成的基本范畴是初等范畴的交集构成的,例如下列集合3,x7}∩:x3,x4,3+74{∩{x256783y丁4;了它们分别为R1,R2}的基本范畴,即:红色三角形,蓝色方形,黄色三角形下列集合x3,x?C「x3,x4,x5,xs∩2,7x8={72,x1∩x,x;6∩2,x7,x8}={x2},5x69E845778f它们分别为{R12R2,R3的基本范畴,即红色大三角形,蓝色大方形,黄色大
- 2021-05-06下载
- 积分：1
