遥感精解-书籍
这是一本非常好的遥感基本知识的书,对于初入遥感领域的学者有一定的指导性帮助(京)新登宇065号内容筒介木书是在九十年代初遥感技术飞速发展的基础上,融合了大量最新研究成果編写的。书中全面系统地介绍了遥感技与应用的各个领域。包括;遥感基础、遥感器、微波遥感、遘感平台及数据、人工及计算杋图像处理、遥感应用及地理信息系统等。全书共分I3童,着重对有关原理和概念进行说明,在补充说明中则对理论性、研究性内容进行了咩细论证和叙述,书中谢有大量图表、照片,既便于对正文内容加探理解,又有较高的銎考、保存价值。本书资料新颗、内容广泛,深浅绪合,图文并茂。适合初学者、大专院校师生、各层次的科研人员及管弹人员学习参考遥感精解L日〕遥感研究会編刘勇卫贺雪鸿译测绘出版社出版·发行外文印刷厂印刷新华书脂总店科技级行所经销开本787Xi091/16·印张2075·插页2·字数476千字1993年月第一版·93年12月第一次印刷印数:00012000册·定价:30元JsBN7…5030-0731-]/P·252nI u敬致读者(代序亲爱的读者们:如果您是熟悉方块汉字的中华文化圈的朋友,我属向您推荐这部有关遥感这门高技术的新书。它会让您提纲挈领地了解遥感的基础知识和最新发。本书主绵村井俊治( Shunji murai)教授,他是国际摄影测量与遥感学会( ISPRS主席,亚洲遥感协会ARSC)秘书长。对于中国和亚洲广大读者并不陌生。他的早期著作《遥感原理物要》中译本,就以简明扼要、纲祚目张,深受中国读者欢迎。他主编的《亚太地区遥感应用》反映了亚太地区这一领域的蓬勃发展和巨大潜力,其中热情地介绍了中国遥感界的部分成果。自1981年以来,他为亚洲遥感学会四处奔波,已举办14次学术讨论会,从未间断,对于促进亚太地区遥感秤学技术界的团结合作、进步和繁荣,受到了国际学术界的推和爱戴,与中国遥感界结了深厚的友谊。他几每年都走访中国,热情支持中国组织的国所学术活动。1993年8月,他和他的夫人—位热爱中国的女地理学家。在参加第二届北京国际地理信息系统学术会议和州十早区半干旱风遥感国际学术会之后一道考察」丝绱之路和敦煌文畅。在日本东京大学村井俊治先生的研究室,已逆续不断地接受了十多位中国访问学者和博土硏究,他们在中国有许多老朋友和学生1992年11月,我应邀到东京参加日本字宙开发事业团( NASDA)举办的亚太地区国际空间年大会,村井俊治教授就将这部新的日文版托我转送给中国读者,并热情地表示奉送版税,擤供图版,希望译成中文版。刘勇卫同志毅然承担并很快完成了樂重的编译虫版工作。1993年10月,我到曼谷参加亚太地区空间应用特邀专家会议的时候,村井俊冶教授正在亚洲理工学院(AIT)执教,他对中文版的耵将问世,非常高兴,再三用汉话向可刘勇卫先生和测绘出版社表示感谢。我们相信,这部图文并茂,雅俗共赏的遥感新书,无论对于初学的大专院校青年学生,还是从事教学和关心遥感科技事的专家学者、领导千部,都是值得一读的。特别是为新加坡、港、澳、台的华商同行们,提供了促进相互理解和学术交流的…些新概念和新词汇。本书原是村井俊治教授组织30多位日本谣专家执笔,为日本遥感学会編写的一部髙科技普及读物。它筲明扼要地介绍了有关遥感信息机理、遥感技术和应用领域,共分13章130个小节,毎节图(表)文对照,金书内容丰富、深入浅出、通俗易懂,比铰充分地反映了九十年代遥感的技术进步和应用开发,特别是日本和亚太地区的最新研究成果。在附录中编入的避感卫星时间表、参数表、遥感卫星地面接收站覆盖图,以及插图照片、参考文献等,都体现了太平洋时代和地区的特点,对于中国和亚太地区的读者来说,更是十分难得,倍觉亲切的。l993年L!月,中日双方签订了北京遥感卫星地面站合作接收日本地球资源卫星JERS-1)的协议,在空间上使覆盖范围有可能扩充到亚洲中西部地区;在时间上可以填补美国陆地卫星 Landsat-7发射失败出现的空白。994年9月,联合图亚太地区经社会(UNDP- ESCAP)将在北京召开亚太地区空间应用部长级会议,为亚太地区的空间技术合作和卫星信息共享,为亚洲季夙的环境与白然灾害监测、社会经济持续发展、携手合作,作出奉献。则本书中译本的及时出版,就具有更深远的一层意义。中国科学院学部委员第三让界科学院院士陈述彭993年10月1l日于北京1972年,随着 Landsat-1号发射升空,遷虅技术开始得到广泛的应用。两年后的1974年:H本遥感硏究会成立,最初着手进行的工仵是编写教科书。1975年《遥盛笔记》(技报堂出版)问世。当压,考虐到便于作为教科书使用,故将沙及7个章约70个日的内容以2页对开的形式构成,左边是说明、杈边是图表。这是在日本出版的第一本有关遥感的教科书该我出版后,一直得到遥感界人士的充分利用,而且被许多论文所参考、引用。然,17年后,由于遥戀技术有了很大的发展,该书带要增加新的内容,重新編写。所以我们就遥感器、微波遥感、卫星、图像处理、地理信息系统(GIs)、应用等内容进行了补充和修改《遥感糟解》可以说是17年前岀版的《遥感笔记》的大鯈改版。该书承技报堂之厚意,由日本测量协会出版,在此,仅表达我的谢意最初,我想只做部分修改就可以了,可实际上却做了全面的修改。与前·本书相比,内容量增至13个章节130个条目,几乎多了一倍。执笔者除了当时的5个人外,又新增了约3人,而且几乎都是30岁或40岁的研究人员和技术人员。可以说,这是凝集了日本遥感界新生力量而编写的书。我们还计划将该书译成英文,使世界上更多的人能得以利用。我衷心希望该书能成为日本为甜念哥伦布到达美洲大陆500年和992年国际空间年计划(LSY)的一大贡献。对于日本遥感研究会的成员以及年青执笔者们贡献谨致深深的谢意。日本遥感研究会会长村井俊治1992年秋编者、执笔者名单主编村井俊治编辑委员赤松幸生植木俊明后藤真太郎柴崎亮介下团阳久建石隆太郎E中邦桥本俊昭平出更广泽春任渡边诚执笔者赤松幸牛新井康平计上康司岩下笃植木俊明内田修远藤州小川利绂大山容小池俊雄占宇田亮江田敏幸后藤真太郎斋藤诚柴崎亮介清水英范下田阳久户岛收博高桥佳昭竹内章司竹内延夫建石隆太部田中邦玉井次郎田村昭南丹波澄雄长幸平上居原健德永光暗纳谷美也子桥本俊招早川清二郎平田更一福江洁屯细村宰本多明增子治信松本雅雄松罔龙冶村纯正望日贯一郎森山隆安罔善文柳田聪山本主介力丸厚渡边滤1而本书的使用方法正如“前言”中所说、本书可以说是1975年出版的《遛感笔汜》(技报堂版)的絛改版六书的目的、结构等仍同旧版一样,是考虑到便做为教科书使用而编写的。每一节的内容针对一个条目,左页是简单说明,右页是与该条日有关的图表。对于初学者来说,这种说明,简单明了。在旧版里,觅深度的内容是留给讲师解说的可是,出于遥感技术的普及和发展,我们在进行这次修改时感到,左页的说明里有许多不充分的地方。为此,我们增加了补充悦明,针对正文的内容做了充分的论述。这样,把补充说明加进去,就使本书可能适应具有相当水准的研究人员使用了本书的第二种使用方法是做为自学教科书使馬。遥感的应用技术住各种不同的领城有很大差异。由于篇幅有限,很难将其全部说清。然而,就遥感的基诎和共河技术来说,必须加以说明,而且尽可能歡到使那些没有这方面知识的人也能理解、明白。这样,如果有高山毕业的学历,便能基本掌握整个遥感技术的知识本书的第三种使用方法是做为遥感专家笔记使用。由于遥感涉及了广泛的学科领域,既使是专家也不可能准确无淏地把全部知识记忆下来。而且,要精通所有的领域也是非常困难的。在开始研究新领域的时候,本书可以做为其入门书,而且,在遗忘了某些专业知识的情况下,本书可以做为数据库发挥作用。本书共分13章。第1章是基础,也就是感的概论。第2章是遥感器,讲述现在已被应用成不久的将来有可能应用的遥感器的基砥。第3章和第4章是黴波遥感。由亍搭载各种微波遥感器的圯球观测卫星的出现,该部分与旧版相比,在内容上做了大幅度增加第5章是遥感平台,除了基础之外,附加了有关现在经常使用的地球观测卫星的解说。第6章是关于遥感中所应用的各种数裾及其特性的说明。第7章的内容在旧版中没有考虑到遥感数据的实际利用状况,增加了图象判读的内容。第8章是有关图像处理系统的介绍,第9、10、Ll章是关于图像处理的各个领域的解说。第12章是遥感应用;考虐到要长期使用,所以收集了-些规范的而且尽可能是接近实用的例子。第13章是有关地理信息系统(Gs)的内容。木书中应否加进GIS的内容,编委会内部虽然有不同意见,然而,随着過感实用化的发展,佔计今后GIS的利用会越来越多,所以,从读者的角度考虑,我们还是加进了这方面的内容。在正文的后边附有补充说明,正文中一些没有解释清的及过于专业化的内容在补充说明中加以论述。补充说明与正文,可按各节的号码对照查找。参考文献与引用文献按各小节归纳,并附有连续号码。引用文帐的号码与正文中的号码相对应。加外,若想获取更深塽的知识,也请参照参考文献。在正文中,需参照考文献时用“”符号表示,需参照引用文献时用“)符号表示。书后的附录中,主要汇总了关于遥感卫是的信息。目录敬致读者(代序)本书的使用方法第1章遥感基础1.1遥感的概念·*1(212电磁波的性质………"………(413物质和电磁波的相作用(64电磁波的波段咖音自自冒自■晋音鲁·自即噜备音·咖噜哥即鲁自自鲁自晋咖暗音自自命自■自鲁身命县自自自命自命争鲁自命鲁自身鲁■命自1.5根据波段划分遥感的种类…”*(10116辐射量的定义(121.7黑体辐射晷中自自■自鲁曲喜會冒自血盘鲁14J18反射率…444441461619物体的光谱反射特性郾■团马■忌(181.10太阳光的光谱辐射特性…………………“(201.11大气的透射特性22}2辐射传递理论●■b■■『■尋●國■■■■↓最■■■■■■&●■●●●■■國↓■悬■■●國國■■■■■●●■■■悬口■●司■■■■b(24)第2章遥感器2.遥感器的分类…*4…444446441446444460(26)22光学逕感器的特征…………………---(28)23空门分辨率…………………………………………(30)24分光元件…………………………………………………(32)25分光滤光……………(3426分光计■■■s(36)7光探测元件的种类及性…………………………………”………(38})28遥感摄影机…"*"”*"**"*◆"s(4029遥感用的胶)…………210光机扫描仪■看鲁日■●即国●·■■自■■●●■鲁自自●p西·咖自■自鲁会■■中■P◆和日·中曾中◆鲁鲁◆争脅争ψ唱卿◆中中曾鲁鲁鲁會中鲁中鲁2l推帚式扫描仪…………”…"………”*”(46}212成像光谐仪……,………"”……………”…""………(48)213大气遥感器…650214声波遥感器(52)2.15激光雷达……國●■■●bb■d↓■画己业(54)====第3章微波巡感31微波遥感的原浬■■■↓■即·『●自·↓■■■·自自自■·@·ψ■罪■■血·咖●■口咖■·P■■血命和·唱自ψ■·■■會咖ψ咖鲁罪↓身■··@·自自(56)3,2徽波的衰减…●ψ如ψ甲即(58)33微波的辐射■■■唱q甲中■鲁p■司屮鲁D■曾■甲鲁●命■■鲁身●◆啁中■■自『争学中皆自自●鲁唱申咖血■■口卓鲁中口中■3.4徽波的表面散射中甲冒PPP■中鲁●中萨P會俨血申伽甲曾曾P◆鲁导司曹管早唱中P司自卿曾即中中鲁申◆鲁冒中口即曾■,即會鲁鲁甲鲁口■看p■會62)35微玻的体散射中自●鲁魯(6436天线的种类…””””…"",(6)3.7天线的特性··可伽聊唱司D■咖咖自日日●口·鲁自·自·目看自唱自罪即目备自口自咖口·看■D自自即■自自早自卓即自●自自鲁自◆申68)第4章黴波避感器4.1微波遥感器的分类a“nt(704,2真实孔径达…………"■●血▲↓看■■●●血晶■晶■啬冒■■↓■■↓暴●φ■■●■·聊·ψ·斗■●b·如(72)43合成孔径雪达“………M………,…“……M…………(74)44宙达图像的几何特性…44764.5合成孔竺嘗达图像的重建4.6需达图像的特8)4.7地形引起的雷达图像差异咖自·申毒冒■■自·中●·咖■■■聊↓·咖噜·咖■也■■咖·咖·↓·↓·鲁@·嵋咱昏忌■看斗·自自啬司國口唱(82)4.8微波辐射计“么+么(8449微波散射计………s…(864.10黴渡高度汁本春业界…(88)4l1海面风的测量·■■會會■·會口『■會會■■『會■個十會■會會血■4………….(90)4.12雷达对波浪的测量………44·4444414444(92第5章遥匙平台51遥感平台的利类…94)52高度与大气的状态……(96)53遥感平台的姿态………………………………,…,1(9g)54姿态测量传感器L4本香(100)55卫星的轨道参数……………·…0102)5.6卫星的轨道导中中唱即即冒即冒即曾■■鲁警曾■P■曾『■曾冒譬■■即曾T■甲钾■即曾■聊司曾口■■(104)57卫星位置的测量■■冒↓冒冒曾曾■冒冒即聊『■口目即■即曾冒■普■即鲁节圆昏即唱哥即冒看罪即昏■即看看■即看愚罪冒b看■b106)5,8避感卫星·…·……*…s10859 Landsat卫星中中■曾即甘曾曾ψ冒冒P冒冒■冒■冒备即罪即曾号口即即即即聊司冒即冒甲罪目哥器冒罪罪即冒冒晶■即冒冒聊冒昌晶■晶晶●1(110)5.l0SPOT卫星…*…11,,……0(112)5 IL NOAA卫跟·4"""“…"*114)5,12静止气象卫星…………………………""*""………(116)5.13极平台谭●中●曾鲁号号P■鲁早号冒■号自■■宁唱日鲁音鲁哥鲁■■国↓D自自国司q哥昏哈自■驴·■命自■■■昌晶b伽■晶■品画hb●(118
- 2020-12-01下载
- 积分:1
word2vec_中的数学原理详解
word2vec_中的数学原理详解个人收集电子书,仅用学习使用,不可用于商业用途,如有版权问题,请联系删除!wordzvec中的数学hoty@163.com2014年7月目录前言2预备知识2.1 sigmoid函数2.2逻辑回归3 Bayes公式2.4 Huffman编码,,,,,,,,524.1Humu树242 Huttman树的构造62.4.3 Huffman编码..,.3背景知识3.1统计语言模3.2n-gram模型103.3神经概率语言模型123.4词向量的理解4基于 Hierarchical softmanⅹ的模型41CBOW模型..191.1.1网络结构41.2梯度计算201.2 Skip-gram模型42.1网络结构42.2梯度计算255基于 Negative sampling的模型285.1CBOW模型285.2 Skip-gram模型53负采样算法326若干源码细节346.1a(x)的近似计算62词典的存储63换行符3564低频词和高频词366.5窗口及上下文3766自应学习率3767参数初始化与训练386.8多线程并行3869几点疑问和思考11m3881前言word2vec是 Google于2013年开源推出的一个用于获取 word vector的工具包,它简单、高效,因此引起了很多人的关注,由于word2vec的作者 Tomas nikolov在两篇相关的论文(,[4)中并没有谈及太多算法细节,因而在一定程度上增加了这个工具包的神秘感些按捺不住的人于是选择了通过解剖源代码的方式来一窥究竟第一次接触word2ve是2013年的10月份,当时读了复且大学郑骁庆老师发表的论文7,其主要工作是将SENA的那套算法(8])搬到中文场景.觉得挺有意思,于是做了一个实现(可参见[20),但苦于其中字向量的训练时间太长,便选择使用word2we来提供字向量,没想到中文分词效果还不错,立马对word2vec刮目相看了一把,好奇心也随之增长后来.陆陆续续看到∫word2ve的一些具体应用,而 lomas nikolov团队本身也将其推广到了句子和文档(),因此觉得确实有必要对word2vec里的算法原理做个了解,以便对他们的后续研究进行追踪.于是,沉下心来,仔细读了一回代码,算是基本搞明臼里面的做法了.筼一个感觉就是,“明明是个很简单的浅层结构,为什么被那么多人沸沸扬扬地说成是Decp Learning呢?”解剖word2vec溟代码的过程中,除了算法层面的收获,其实编程技巧方面的收获乜颇多.既然花了功夫来读代码,还是把理解到的东西整理成文,给有需要的朋友提供点参考吧在整理本文的过程中,和深度学习群的群友北流浪子(15,16)进行了多次有益的讨论在比表示感谢另外,也参考了其他人的一些资料,鄱列在参考文献了,在此对他们的工作也并表示感谢2预备知识本节介绍word2vee中将用到的些重要知识点,包括 sigmoid函数、 Beyes公式和Huffman编码等821 sigmoid函数sigmoid函数是神经网络中常用的激活函数之一,其定义为1+e该函数的定义域为(-x,+x),值域为(0,1).图1给出了 sigmoid函数的图像0.5图1 sigmoid函数的图像sigmoid数的导函数具有以下形式)=0(x)1-0(x)由此易得,函数logo(a)和log(1-0(x)的导函数分别为log o(a)(21)公式(2.1)在后面的推寻中将用到822逻辑回归生活中经常会碰到二分类问题,例如,某封电子邮件是否为垃圾邮件,某个客户是否为在客户,某次在线交易是舌仔在诈行为,等等.设{(x,)}1为一个二分类问题的样本数据,其中x∈R",∈{0,1},当1=1时称相应的样本为正例,当v=0时称相应的样本为负例利用 sigmoid函数,对于任意样木x=(x1,x2,…,xn),可将二分类问题的 hypothesis函数写成h(x)=0(o+61x1+622+…+nxn),其中0=(0o,01,…,O)为待定参数.为了符号上简化起见,引入x0=1将x扩展为(x0,x1,x2,…,xrn)},且在不引起混淆的情况下仍将其记为ⅹ.于是,he可简写为取阀值T-0.5,则二分类的判别公式为1,b(x)≥0.5y(x0.5那参数θ如何求呢?通常的做法是,先确定一个形如下式的整体损失函数∑co(x,v)然后对其进行优化,从而得到最优的參数θ实际应用中,单个样本的损失函数cost(x,)常取为对数似然函数cosl(xi, yi)),v-1;(1-(x),v=0注意,上式是一个分段函数,也可将其写成如下的整体表达式cost(x2,3)=·log(ho(x)(1y1)·log(1h(x)323 Baves公式贝叶斯公式是英国数学家贝叶斯( Thomas Bayes)提出来的,用来描述两个条件概率之间的关系.若记P(A),P(B)分别表示事件A和事件B发生的概率,P(AB)我示事件B发生的情况下事件4发生的慨率P(A,B)表示事A.B同时发生的概率.则有P(AB)P(B), P(BLA)=P(A, B)P(A, B利用上式,进一步可得P(B AP(AB)-P(A)P(B)这就是 Bayes公式g2.4 Huffman编码本节简单介绍Humn编码(具体内容主要来白百度百F的词条.[10),为此,首先介绍Huffman树的定义及其构造算法§24.1 Huffman树在计算机科学中,树是一种重要的非线性数据结构,它是数据元素(在树中称为结点)按分支关系组织起来的结构.若干棵互不相交的树所构成的集合称为森林.下面给出几个与树相关的常用概念·路径和路径长度在一棵树中,从一个结点往下可以达到的孩子或孙子结点之间的通路,称为路径.通路中分支的数目称为路径长度.若规定根结点的层号为1,则从根结点到第L层结虑的路径长度为L-1●结点的权和带权路径长度若为树中结点赋予一个具有某种含义的(非负)数值,则这个数值称为该结点的权结点的带权路径长度是指,从根结点到该结点之间的路径长度亐该结点的杈的乘矾·树的带权路径长度树的带权路径长度规定为所有叶子结点的带权路径长度之和二叉树是每个结点最多有两个子树的有序树.两个子树通常被称为“左子树”和“右子树”,定义中的“有序”是指两个子树有左石之分,顺序不能颠倒给定n个权值作为n个叶子结点,树造一棵二叉树,若它的带权路径长度达到最小,则称这样的二叉树为最优二叉树,也称为 Huffman树82.4.2 Huffman树的构造给定m个权值{mn,m2;…,mn}作为二叉树的m个叶子结点,可通过以下算法来构造颗 Huffman树算法2.Ⅰ(Hu「man树构造算法)(1)将{1,2,……,wn}看成是有n棵树的表林(每树仅有一个结点)2)在森林中选出两个根结,的权值最小的树合并,作为-棵新树的左、右子树,且新树的根结点权值为其左、右子树根结点权值之和〔3)从森林中燜除选取的两樑树,并将新树加入森林(4)重复(2)、(3)步,直到森林中只剩一棵树为止,该树即为所求的 luffman树接下来,给出算法2.1的一个具体实例例2.1假设2114年世界杯期间,从新浪毀博中抓取了若干条与足球相关的微博,经统计,“我”、“喜欢”、“观看”、“巴西”、“足球”、“世界杯”这六个词岀现的次薮分别为15,8,6,5,3,1.请以这6个词为叶子结点,以相应词频当权值,构造一棵Hu∥n树.⊙Q⑨Q⊙只66如→只只③⊙图2 Huffman树的构造过程利用算法.,易知其枃造过程如国g所示,团中第六步给出了最终的 Hutman树,由囚可见词频越大的词离根结点越近构造过程中,通过合并新増的结点被标记为黄色.由于每两个结点邡要进行一次合并,因此,若叶子结点的个数为η,刘枃造的H們πω树中新増结点的个数为π-1.本例中n6,因此新增结,的个数为5注意,前面有捉到,二叉树的丙个子树是分左右的,对于某个非叶子结点来说,就是其两个孩子结点是分左右的,在本例中,统一将词频大的结点作为左孩子结点,词频小的作为右孩子结点当然,这只昃一个约定:你要将词頻大的结点作为右孩子结点也浸有问题§24.3 Huffman编码在数据通倍中,需要将传送的文宁转换成二进制的字符串,用0,1码的不同排列米表示字符.例如,需传送的报文为“A上 TER DATA EAR ARE ART AREA”,这里用到的字符集为“A,E,R,T,F,D”,各字母出现的次数为84,5,3,1,1,现要求为这些字母设计编码要区别6个字母,最简单的二进制编码方式是等长编码,固定采用3位二进制(23=8>6),可分别用000.001、010、011、100、101对“A,E,R,T,F,D”进行编码发送,当对方接收报文时再按照三位一分进行译码显然编码的长度取决报文中不同字符的个数,若报文中可能出现26个不同字符,则固定编码长度为5(2=32>26).然而,传送报文时总是希望总长度尽可能短.在实际应用中,各个字符的出现频度或使用次数是不相同的,如A、B、C的使用频率远远高于X、Y、7,自然会想到设计编码时,让使用频率高的用短码,使用频率低的用长码,以优化整个报文编码.为使不等长编码为前缀编码(即要求一个字符的编码不能是另一个字符編码的前缀),可用字符集中的每个宇符作为叶子结点生成一棵编码二叉树,为了获得传送报文的最短长度,可将每个字符的岀现频率作为字符结烹的权值赋予该结点上,显然字使用频率越小权值越小,权值越小叶子就越靠下,于是颎率小编码长,频率高编码短,这样就保证了此树的最小带权路径长度,效果上就是传送报文的最短长度.因此,求传送报文的最短长度问题转化为求由字符集中的所有字符作为叶子结点,由字符出现频率作为其权值所产生的Hman树的问题.利用 Hultman树设计的二进制前缀編码,称为 LuminaL编码,它既能满足前缀编码的条件,又能保证报文编码总长最短本文将介绍的word2ve工具中也将用到 Huffman编码,它把训练语料中的词当成叶子缩点,其在语料中出现的次数当作权值,通过构造相应的 Huttman树来对每一个词进行Huffman编码图3给岀了例2.1中六个词的 Huffman编码,其中约定(词频较大的)左孩子结点编码为1,(词频较小的)石孩子编码为θ.这惮一米,“我”、“喜欢”、“观看”、“巴西”、“足球”、“世界杯”这六个词的 Huffman编码分别为0.111,110,101,1001和10000我告欢巴匹0足球图3 Huffman编码示意图注意,到目前为止,关于 Huttman树和 Huttman編码,有两个约定:(1)将权值大的结点作为左孩子结点,权值小的作为右孩子结点(2)左孩子结点编码为1,右孩子结点编码为0.在word2vec源码中将权值较大的孩子结点编码为1,较小的孩子结点编码为0.为与上述约定统一起见,下文中提到的“左孩了结点"都是指权值较大的孩了结点83背景知识word2vec是用来生成词向量的工具,而词向量与语言模型有着密切的关系,为此,不妨先了解一些语言模型方面的知识83.1统计语言模型当今的互联网迅猛发展,每天都在产生大量的文本、图片、语音和视频数据,要对这些数据进行处理并从中挖掘岀有价值的信息,离不开自然语言处理( Nature Language processing,NP)技术,其中统计语言模型( Statistical language model)就是很重要的一环,它是所有NLP的基础,被广泛应用于语音识别、机器翻译、分词、词性标注和信息检索等任务.例.1在语音识别糸统中,对于给定的语音段Vire,霄要找到一个使概率p( TertVoice最大的文本段Tert.利用 Bayes公式,有P(Teat voice)p(VoiceText). p(Textp(Voice)其中p( CicetE.c)为声学模型,而 elEct)为语言模型(18])简单地说统计语言模型是用来计算一个句子的概率的概率模驷,它通常基于一个语料库来构建.那什么叫做一个句子的概率呢?假设W=m1:=(m1,2,…,mr)表示由T个词,2,……,按顺序构成的一个句子,则1,c2…,w的联合慨率p()=p(x1)=p(01,t2,…,r)就是这个句子的概率利用 Bayes公式,上式可以被链式地分解为p(uh)-p(1)·p(u2lu1)p(u3lu2)…p( wru-1),(3.1)其中的(条件)概率p(1),p(2t1),p(un),…,p(mr1-)就是语言模型的参数,若这些参数已经全部算得,那么给定一个句子U1,就可以很快地算出相应的p(1)了看起来奷像很简单,是吧?但是,具体实现起来还是有点麻烦.例如.先来看看模型参数的个数.剛刚才是考虑一个给定的长度为T的句子,就需要计算T个参数.不妨假设语料库对应词典D的大小(即词汇量)为N,那么,如果考虑长度为T的任意句子,理论上就有M种可能.而每种可能都要计算T个参数,总共就需要计算TN7个参数.当然,这里只是简单估算,并没有考虑重复参数,但这个量级还是有蛮吓人.此外,这些概率计算好后,还得保存下来,因此,存储这些信息乜需要很大的內存开销此外,这些参数如何计算呢?常见的方法有n-gram模型、决策树、最大熵模型、最大熵马尔科夫模型、条件随机场、神经网络等方法,本文只讨论n-gram模型和神经网络两种方法.首先来看看 n-gram模型
- 2020-12-04下载
- 积分:1