word2vec_中的数学原理详解
word2vec_中的数学原理详解个人收集电子书，仅用学习使用，不可用于商业用途，如有版权问题，请联系删除！wordzvec中的数学hoty@163.com2014年7月目录前言2预备知识2.1 sigmoid函数2.2逻辑回归3 Bayes公式2.4 Huffman编码,,,,,,,,524.1Humu树242 Huttman树的构造62.4.3 Huffman编码..,.3背景知识3.1统计语言模3.2n-gram模型103.3神经概率语言模型123.4词向量的理解4基于 Hierarchical softmanⅹ的模型41CBOW模型..191.1.1网络结构41.2梯度计算201.2 Skip-gram模型42.1网络结构42.2梯度计算255基于 Negative sampling的模型285.1CBOW模型285.2 Skip-gram模型53负采样算法326若干源码细节346.1a(x)的近似计算62词典的存储63换行符3564低频词和高频词366.5窗口及上下文3766自应学习率3767参数初始化与训练386.8多线程并行3869几点疑问和思考11m3881前言word2vec是 Google于2013年开源推出的一个用于获取 word vector的工具包,它简单、高效,因此引起了很多人的关注,由于word2vec的作者 Tomas nikolov在两篇相关的论文(,[4)中并没有谈及太多算法细节,因而在一定程度上增加了这个工具包的神秘感些按捺不住的人于是选择了通过解剖源代码的方式来一窥究竟第一次接触word2ve是2013年的10月份,当时读了复且大学郑骁庆老师发表的论文7,其主要工作是将SENA的那套算法(8])搬到中文场景.觉得挺有意思,于是做了一个实现(可参见[20),但苦于其中字向量的训练时间太长,便选择使用word2we来提供字向量,没想到中文分词效果还不错,立马对word2vec刮目相看了一把,好奇心也随之增长后来.陆陆续续看到∫word2ve的一些具体应用,而 lomas nikolov团队本身也将其推广到了句子和文档(),因此觉得确实有必要对word2vec里的算法原理做个了解,以便对他们的后续研究进行追踪.于是,沉下心来,仔细读了一回代码,算是基本搞明臼里面的做法了.筼一个感觉就是,“明明是个很简单的浅层结构,为什么被那么多人沸沸扬扬地说成是Decp Learning呢?”解剖word2vec溟代码的过程中,除了算法层面的收获,其实编程技巧方面的收获乜颇多.既然花了功夫来读代码,还是把理解到的东西整理成文,给有需要的朋友提供点参考吧在整理本文的过程中,和深度学习群的群友北流浪子(15,16)进行了多次有益的讨论在比表示感谢另外,也参考了其他人的一些资料,鄱列在参考文献了,在此对他们的工作也并表示感谢2预备知识本节介绍word2vee中将用到的些重要知识点,包括 sigmoid函数、 Beyes公式和Huffman编码等821 sigmoid函数sigmoid函数是神经网络中常用的激活函数之一,其定义为1+e该函数的定义域为(-x,+x),值域为(0,1).图1给出了 sigmoid函数的图像0.5图1 sigmoid函数的图像sigmoid数的导函数具有以下形式)=0(x)1-0(x)由此易得,函数logo(a)和log(1-0(x)的导函数分别为log o(a)(21)公式(2.1)在后面的推寻中将用到822逻辑回归生活中经常会碰到二分类问题,例如,某封电子邮件是否为垃圾邮件,某个客户是否为在客户,某次在线交易是舌仔在诈行为,等等.设{(x,)}1为一个二分类问题的样本数据,其中x∈R",∈{0,1},当1=1时称相应的样本为正例,当v=0时称相应的样本为负例利用 sigmoid函数,对于任意样木x=(x1,x2,…,xn),可将二分类问题的 hypothesis函数写成h(x)=0(o+61x1+622+…+nxn),其中0=(0o,01,…,O)为待定参数.为了符号上简化起见,引入x0=1将x扩展为(x0,x1,x2,…,xrn)},且在不引起混淆的情况下仍将其记为ⅹ.于是,he可简写为取阀值T-0.5,则二分类的判别公式为1,b(x)≥0.5y(x0.5那参数θ如何求呢?通常的做法是,先确定一个形如下式的整体损失函数∑co(x,v)然后对其进行优化,从而得到最优的參数θ实际应用中,单个样本的损失函数cost(x,)常取为对数似然函数cosl(xi, yi)),v-1;(1-(x),v=0注意,上式是一个分段函数,也可将其写成如下的整体表达式cost(x2,3)=·log(ho(x)(1y1)·log(1h(x)323 Baves公式贝叶斯公式是英国数学家贝叶斯( Thomas Bayes)提出来的,用来描述两个条件概率之间的关系.若记P(A),P(B)分别表示事件A和事件B发生的概率,P(AB)我示事件B发生的情况下事件4发生的慨率P(A,B)表示事A.B同时发生的概率.则有P(AB)P(B), P(BLA)=P(A, B)P(A, B利用上式,进一步可得P(B AP(AB)-P(A)P(B)这就是 Bayes公式g2.4 Huffman编码本节简单介绍Humn编码(具体内容主要来白百度百F的词条.[10),为此,首先介绍Huffman树的定义及其构造算法§24.1 Huffman树在计算机科学中,树是一种重要的非线性数据结构,它是数据元素(在树中称为结点)按分支关系组织起来的结构.若干棵互不相交的树所构成的集合称为森林.下面给出几个与树相关的常用概念·路径和路径长度在一棵树中,从一个结点往下可以达到的孩子或孙子结点之间的通路,称为路径.通路中分支的数目称为路径长度.若规定根结点的层号为1,则从根结点到第L层结虑的路径长度为L-1●结点的权和带权路径长度若为树中结点赋予一个具有某种含义的(非负)数值,则这个数值称为该结点的权结点的带权路径长度是指,从根结点到该结点之间的路径长度亐该结点的杈的乘矾·树的带权路径长度树的带权路径长度规定为所有叶子结点的带权路径长度之和二叉树是每个结点最多有两个子树的有序树.两个子树通常被称为“左子树”和“右子树”,定义中的“有序”是指两个子树有左石之分,顺序不能颠倒给定n个权值作为n个叶子结点,树造一棵二叉树,若它的带权路径长度达到最小,则称这样的二叉树为最优二叉树,也称为 Huffman树82.4.2 Huffman树的构造给定m个权值{mn,m2;…,mn}作为二叉树的m个叶子结点,可通过以下算法来构造颗 Huffman树算法2.Ⅰ(Hu「man树构造算法)(1)将{1,2,……,wn}看成是有n棵树的表林(每树仅有一个结点)2)在森林中选出两个根结,的权值最小的树合并,作为-棵新树的左、右子树,且新树的根结点权值为其左、右子树根结点权值之和〔3)从森林中燜除选取的两樑树,并将新树加入森林(4)重复(2)、(3)步,直到森林中只剩一棵树为止,该树即为所求的 luffman树接下来,给出算法2.1的一个具体实例例2.1假设2114年世界杯期间,从新浪毀博中抓取了若干条与足球相关的微博,经统计,“我”、“喜欢”、“观看”、“巴西”、“足球”、“世界杯”这六个词岀现的次薮分别为15,8,6,5,3,1.请以这6个词为叶子结点,以相应词频当权值,构造一棵Hu∥n树.⊙Q⑨Q⊙只66如→只只③⊙图2 Huffman树的构造过程利用算法.,易知其枃造过程如国g所示,团中第六步给出了最终的 Hutman树,由囚可见词频越大的词离根结点越近构造过程中,通过合并新増的结点被标记为黄色.由于每两个结点邡要进行一次合并,因此,若叶子结点的个数为η,刘枃造的H們πω树中新増结点的个数为π-1.本例中n6,因此新增结,的个数为5注意,前面有捉到,二叉树的丙个子树是分左右的,对于某个非叶子结点来说,就是其两个孩子结点是分左右的,在本例中,统一将词频大的结点作为左孩子结点,词频小的作为右孩子结点当然,这只昃一个约定:你要将词頻大的结点作为右孩子结点也浸有问题§24.3 Huffman编码在数据通倍中,需要将传送的文宁转换成二进制的字符串,用0,1码的不同排列米表示字符.例如,需传送的报文为“A上 TER DATA EAR ARE ART AREA”,这里用到的字符集为“A,E,R,T,F,D”,各字母出现的次数为84,5,3,1,1,现要求为这些字母设计编码要区别6个字母,最简单的二进制编码方式是等长编码,固定采用3位二进制(23=8>6),可分别用000.001、010、011、100、101对“A,E,R,T,F,D”进行编码发送,当对方接收报文时再按照三位一分进行译码显然编码的长度取决报文中不同字符的个数,若报文中可能出现26个不同字符,则固定编码长度为5(2=32>26).然而,传送报文时总是希望总长度尽可能短.在实际应用中,各个字符的出现频度或使用次数是不相同的,如A、B、C的使用频率远远高于X、Y、7,自然会想到设计编码时,让使用频率高的用短码,使用频率低的用长码,以优化整个报文编码.为使不等长编码为前缀编码(即要求一个字符的编码不能是另一个字符編码的前缀),可用字符集中的每个宇符作为叶子结点生成一棵编码二叉树,为了获得传送报文的最短长度,可将每个字符的岀现频率作为字符结烹的权值赋予该结点上,显然字使用频率越小权值越小,权值越小叶子就越靠下,于是颎率小编码长,频率高编码短,这样就保证了此树的最小带权路径长度,效果上就是传送报文的最短长度.因此,求传送报文的最短长度问题转化为求由字符集中的所有字符作为叶子结点,由字符出现频率作为其权值所产生的Hman树的问题.利用 Hultman树设计的二进制前缀編码,称为 LuminaL编码,它既能满足前缀编码的条件,又能保证报文编码总长最短本文将介绍的word2ve工具中也将用到 Huffman编码,它把训练语料中的词当成叶子缩点,其在语料中出现的次数当作权值,通过构造相应的 Huttman树来对每一个词进行Huffman编码图3给岀了例2.1中六个词的 Huffman编码,其中约定(词频较大的)左孩子结点编码为1,(词频较小的)石孩子编码为θ.这惮一米,“我”、“喜欢”、“观看”、“巴西”、“足球”、“世界杯”这六个词的 Huffman编码分别为0.111,110,101,1001和10000我告欢巴匹0足球图3 Huffman编码示意图注意,到目前为止,关于 Huttman树和 Huttman編码,有两个约定:(1)将权值大的结点作为左孩子结点,权值小的作为右孩子结点(2)左孩子结点编码为1,右孩子结点编码为0.在word2vec源码中将权值较大的孩子结点编码为1,较小的孩子结点编码为0.为与上述约定统一起见,下文中提到的“左孩了结点"都是指权值较大的孩了结点83背景知识word2vec是用来生成词向量的工具,而词向量与语言模型有着密切的关系,为此,不妨先了解一些语言模型方面的知识83.1统计语言模型当今的互联网迅猛发展,每天都在产生大量的文本、图片、语音和视频数据,要对这些数据进行处理并从中挖掘岀有价值的信息,离不开自然语言处理( Nature Language processing,NP)技术,其中统计语言模型( Statistical language model)就是很重要的一环,它是所有NLP的基础,被广泛应用于语音识别、机器翻译、分词、词性标注和信息检索等任务.例.1在语音识别糸统中,对于给定的语音段Vire,霄要找到一个使概率p( TertVoice最大的文本段Tert.利用 Bayes公式,有P(Teat voice)p(VoiceText). p(Textp(Voice)其中p( CicetE.c)为声学模型,而 elEct)为语言模型(18])简单地说统计语言模型是用来计算一个句子的概率的概率模驷,它通常基于一个语料库来构建.那什么叫做一个句子的概率呢?假设W=m1:=(m1,2,…,mr)表示由T个词,2,……,按顺序构成的一个句子,则1,c2…,w的联合慨率p()=p(x1)=p(01,t2,…,r)就是这个句子的概率利用 Bayes公式,上式可以被链式地分解为p(uh)-p(1)·p(u2lu1)p(u3lu2)…p( wru-1),(3.1)其中的(条件)概率p(1),p(2t1),p(un),…,p(mr1-)就是语言模型的参数,若这些参数已经全部算得,那么给定一个句子U1,就可以很快地算出相应的p(1)了看起来奷像很简单,是吧?但是,具体实现起来还是有点麻烦.例如.先来看看模型参数的个数.剛刚才是考虑一个给定的长度为T的句子,就需要计算T个参数.不妨假设语料库对应词典D的大小(即词汇量)为N,那么,如果考虑长度为T的任意句子,理论上就有M种可能.而每种可能都要计算T个参数,总共就需要计算TN7个参数.当然,这里只是简单估算,并没有考虑重复参数,但这个量级还是有蛮吓人.此外,这些概率计算好后,还得保存下来,因此,存储这些信息乜需要很大的內存开销此外,这些参数如何计算呢?常见的方法有n-gram模型、决策树、最大熵模型、最大熵马尔科夫模型、条件随机场、神经网络等方法,本文只讨论n-gram模型和神经网络两种方法.首先来看看 n-gram模型
- 2020-12-04下载
- 积分：1
基于fpga的自适应滤波器
关于自适应滤波器的fpga实现，对于想学数字滤波器的和fpga的同学来说非常好基于FPGA的自适应滤波器设计摘要数字滤波器较模拟滤波器相比,具有信噪比髙,过渡带性能好,髙可靠性及可扩展性,设计灵活方便的优势,应用范围越米越广。随着专用数字信号处理芯片的发展,数字滤波器的可实现性能以及处理速度得到了极大的提升,FPGA(现场可编程门阵列)作为一种新型数字信号处理芯片,具有数字信号处理速度快、数据并行处理并且利用硬件编程语言直接进行硬件设计等特点,自适应滤波器的FPGA设计以及优化方法,是目前的一个研究热点。本文对自适应滤波器进行 Matlab仿真,以对其结构特性以及运算特点进行了解,利用 Matlab生成测试信号与FPGA仿真软件 Modelsim进行联合设计以及行为仿貞,采用 Altera公司的 Cyclone IV系列芯片EP4CE15F17C8为载体的开发板进行设计仿真,在设计过程中,充分利用FPGA可以并行处理以及快速的数字信号处理的特点进行针对性的结构设计。在此基础上做了以下工作。在充分了解滤波器,自适应横向滤波器,自适应陷波滤波器以及FFT变换原理的基础上,选择并搭建∫设计平台,在目前自适应横向滤波器的FPGA设计的研究基础上,采用模块化的设计方法,单独设计可重复调用的串行FR滤波模块以及串行LMS杖值更新模块,对两种模块的设计以及综合分别进行了设计以及仿真实验,通过并行调川两种不同模块,每种调用四个的方式设计一个16阶的滤波器为例来阐述模块化设计方法,并设计32阶64阶分别与仝串行以及仝并行设计方式的处理速率以及逻辑资源调用进行比较,结果说明运算速率与并行调用模块数量成正比,远快于全串行结构的设计方式,并且对于64阶仝并行系统来说,极大的减少了硬件资源的消万方数据耗,提髙了设计灵活性。在此设计的基础上,针对传统自适应陷波滤波器的滤波频夲固定不变的缺陷,提出了一种频域变换法检测噪声特征频夲,并可以根据特征噪声频率实时改变陷波频率的滤波器设计方法,为了减小设计复杂性,研究了符号LMS自适应陷波器算法,通过 Matlab仿真实验选取符号的特征变量。并对噪声信号提取算法进行了介绍和设计仿真,最终设计出根据噪声频率自动调节陷波中心频率的自适应陷波滤波器,并对滤波器性能进行了 Modelsim仿真研究,自适应陷波器具有能有效的滤除对应频的单频噪声信号,并且根据噪声的频率特性自动调节滤波频率的特点。针对两种自适应滤波器的FPGA设计,体现了FPGA在自适应滤波器设计时灵活性以及针对性,两种不同类型的自适应滤波器,可以分别适用于普通数字滤波器无法有效发挥作用的场合,同时本文的设计方法对其它类型数字信号处理系统的FPGA实现具有一定参考价值关键词:现场可编程门阵列,自适应横向滤波器,模坎化设计,自适应陷波器万方数据DESIGN OF ADAPTIVE FILTER BASED ON FPGAABSTRaCTCompared with analog filter, digital filter has the advantages of high signalto noise ratio, good performance of transition zone, high reliability andexpansibility, flexible and convenient design and application With developmentof special digital signal processing chip, digital filter Can achieve performanceand processing speed has been greatly improved, the realization of the use of thebetter performance of digital chip design more complex filter, so that the adaptivefilter realization and application become possible, FPGA (field programmablegate array) is a new type of digital signal processing chip, with parallel processingof data and Can use hardware programming language directly the characteristicsof the hardware design, is currently a hot research topic for study of adaptive filteris implemented on FPgaThe matlab simulation of the adaptive filter to understand the characteristicsof the structure and opcration characteristics, and the use of Matlab generatingtest signals and FPGA simulation software Modelsim joint behavior simulation ofFPGa design, then to Altera cyclone Iv series chip ep4cel5f17c8 as the carrierof the development board for simulation design. in the design process, make fulluse of FPGa parallel processing and fast digital signal processing for structuraldesign On this basis, the following work has been doneThe filter needed to fully understand, adaptive transversal filter, adaptivenotch filter and Fft transform based on the principle of selection and build adesign platform, first in the basic research of current FPGA adaptive transversalfilter realization, using modular design method, the structure is divided into singleand serial FiR filter module serial LMS weight update module, the design of thetwo modules and integrated were designed, and simulation experiments, through万方数据the parallel call two different modules, each call the four way to design a 1 6 orderfilter as an example to illustrate the modular design method, and design of 32order and 64 order respectively with serial and the processing rate parallel designmethods and logic resources call were compared. The results show that theoperation rate and parallel call module is proportional to the number, far faster Inthe whole serial design mode, and for the 64 order all parallel system, greatlyimprove the design flexibility, reduce the consumption of hardware resourcesAfter the design on this basis, the traditional adaptive trapped wave filter, filterfrequency fixed defects, put forward a method of frequency domain transformdetection noise characteristic frequency, and can change in real time accordingto the characteristics of noise frequency trapped wave frequency filter designmethods, in order to reduce the design complexity and the sign LMs adaptivenotch filter algorithm, the characteristic variables of the symbol is determinedthrough the simulation experiment of Matlab. And the noise signal extractionalgorithm are introduced and the simulation design, the final design according tofrequency noise automatically adjust the trapped wave frequency adaptive notchfilter, and on the performance of the filters were Modelsim simulation researchthe adaptive notch filter has CaN effectively filter on the frequency of the singlefrequency noise signal, and does not affect the characteristics of waveforms usefulFor the fpga design of two based on the lms adaptive algorithm of filterreflecting the FPGa in the adaptive filter design flexibility and uniqueness, twodifferent types of adaptive filter can be respectively applicable to ordinarydigital filter Can not effectively play the role of occasions, also the designmethod of other types of digital signal processing system based on FPGaimplementation has a certain reference valueKEY WORDS: FPGA, Adaptive transversal filter, Modular design, Adaptivenotch filter万方数据目录摘要ABSTRACT··,··*···第·章绪论…1.1研究目的与意义1.1.1数字滤波器简介·················+··*····+··········*···:··.*····…···*········:··+*·········1.1.2基于FPGA的自适应滤波器研究意义·“中,非2国内外研究现状1.2.1自适应滤波器研究现状122自适应滤波器的FPGA实现研究现状·······申中···申1.3课题的主要研究内谷··B申61.3.1课题的主要工作1.3.2课题的研究实现方案…4本章小结第二章自适应陷波滤波器的原理以及实验平台2.自适应滤波器理论介绍·····中中·········中·中·"中··中·中····中····申2.1.1IR与FIR滤波器简介2.12LMS算法原理132.1.3自适应陷波器的原理15214FFT变换的原理··p··中··中··,和p申·和中中····中·申22设计平台介绍2022.1自适应滤波器的设计平台20222自适应陷波滤波器接2223本章小结24第三章自适应横向滤波器的FPGA实现..273.1自适应滤波器的 Matlab仿真研究…····中中中申·中申···申申p中申·中申··申p申中273.1.1自适应滤波器的功能仿真研究273.2自适应滤波器的滤波收敛性能研究方法…83.1.3自适应滤波器的收敛性能研究….30万方数据3.2自适应滤波器的FPGA模块化设计333.2.1自适应滤波器FPGA模块化设计原理333.22FIR串行模块的设计申·中p申申,申申申·申和中p申申非申·p;申p申·非申·申新申中和申p申和·申·申P申申·申申申p申p343.2.3LMS串行模块的设计35324自适应滤波器多级处理结构整体设计363.2.5结构特性分析393.3木章小结···非中中非第四章自适应陷波滤波器的FPGA设计41符号LMS算法的梯度特征值选择及系统结构设计.414.1.1符号LMS算法的梯度特征值选择4141.2FIR自适应陷波滤波器系统结构设计42噪声信号分析以及参考信号频率值提取……1464.2.1FFT变换的功能464.2.2FFT变换的参数介绍42.3 FFT IP核的调试以及功能测试……4842.4特征噪声频率提取算法.…43自适应陷波模块的设计非··申申中431自适应波器的 Matlab仿真43.2自适应陷波器FPGA设计时的数据截取方法554.3.3白适应陷波器模块的FPGA设计56434自适应陷波器的整体设计6044采用频域变换法自适应陷波器滤除工频噪声.44.1提高系统实时性的方法6144.2模拟与实验验证45木章小结·········65第五章总结与展望DD67参考文献致谢75攻读学位期间发表的学术论文目录77ⅤI万方数据太原理工大学硕上饼究生学位论文第一章绪论1.1研究目的与意义滤波器从1917年发明以米,已经有近一个世纪的发展史1,滤波器的发明也极大的推进了电了器件以及通信的发展。计算机技术以及集成电路的技术的发展又使滤波器产生飞跃式的发展,各科数字电路以及模拟开关电路元件体积越来越小,密度越来越高,直接催生了集成芯片式RC有源滤波器,开关电容滤波器以及数字滤波器。使滤波器的应用范围再一次扩大,不仅仅在通信领域,在医学,电气,图像处理等领域也起到了举足轻重的作用。1.1.1数字滤波器简介数字滤波器作为数字信号处理的一部分,是随着计算机以及数字器件的发展而发展起来的一门比较新的技术,尤其近几年来,数字处理芯片以及数字信号处理技术的发展使得数字滤波器的优点越米越突出,现代数字滤波器可以轻易实现将过渡带缩短到Iz以內,这点是模拟滤波器无法达到的性能指标。数字滤波器比模拟滤波器还有更优越的信噪比、可靠性以及灵活性和可扩展性,并且随着数字集成电路的发展,制作成本将会越来越低S。目前使用比较多的滤波器设计方法分别是无限冲击响应(IR)以及有限冲击响应(FR)波器,其屮由于FR滤波器可以很容易实现具有严格线性相位结构的滤波器,而IR滤波器要达到严格线性相位结构必须经过仝通网终线性相位矫正从而大大增加滤波器的阶数。FR滤波器由于其冲击响应有限,所以是个稳定系统。并且没有反馈环节,有利于其在使件上实现。所以FR滤波器以其独有的优势应用于线性相位结构的系统屮。近几年米,随着RLS以及LMS自适应算法的提出S,很多专家学者提出了利用自适应算法在数字系统上设计自适应滤波器,使滤波器的性能更加灵活,并且在对滤波器有特殊滤波要求的场合使用門,例如自适应陷波器常用在电气设备中滤除工频干扰而对其余频率信号几乎完全不产生影响,以及在通道失配屮采用自适应滤波原理进行矫正12,有些系统可以采用自适应算法达到抵消噪声千扰3,这些都是常规滤波器无法达万方数据基于FPGA的自适应滤波器设计到的性能指标。LMS算法以其简单的特性,可以在多和数字芯片上进行设计。尤其在FPGA上实现各种自适应滤波器14,是目前针对自适应滤波器方面的一个研究方向。1.1.2基于FPGA的自适应滤波器研究意义FIR与IR滤波器都是数字滤波器,即在数字系统上实现滤波器功能,而数字系统又分为软件数字系统实现以及硬件数字系统实现,软件数字系统实现最常用的例如使用MEATLAB或者 Labview进行编程实现15,其优点是可以自如的调节信号字长以及滤波步长,可以达到很高的精度,并且可以综合其它的处理功能为一体。缺点是接口比较单,必须接外置的采集卡,需要以计算机为载休休积往往很大。并且对信号的处理速度在相同糸件下要比硬件实现的滤波器系统要慢,并不能达到很好的实吋性,实际应用中只适用于屮、少量的数据后期分析以及对成本以及实时性要求不高的一些系统使用16。哽件芯片实现的数字滤波器实吋性要比PC杋软件好,并且硬件载体也比较多,如单片机、ARM类芯片,和专门用于数字信号处理的DSP芯片上均可以实现滤波器功能,但是其运算均为串行运算,(现场可编程门阵列)FPGA作为·种可编辑器件,不仅能实现上述所有芯片的功能,在资源配置合理的情况下,还能进行处理馍垬多重并行调用,即在个芯片上实现多个基本芯片同时处理的功能8,从而达到特别优异的数字信号处理功能,目前在图像处理等需要实时对大量数字信号进行滤波处理的领域,FPGA已经成为款不可或缺的芯片。但硬件设计数字滤波器的时候,山于数字滤波器的特殊性,在设计数字滤波器的时候,并没有现成的标准公式,这造成了很多数字滤波器并不能完全直接在硬件系统上实现,例如,FR数字滤波器,必须先利用软件工具得出FIR滤波器的各延迟抽头系数才能进行硬件设计,所以设计FIR滤波器的时候,是离不开计算机系统的,但是设计好的滤波器,可以脱离软件系统进行使用。由亍FR滤波器的本质就是一个标准的乘加运算集,恰好可以利用分布式算法实砚FIR滤波器,分布式算法的每个乘法运算屮必须有一个乘数为常数,这又与FPGA的基本逻辑单元査找表的功能相适应,利用査找表结构可以进行个常数乘数与·个变量相乘的运算,这样在实现FIR滤波器的时候,利用分布式算法,可以实现不使用或仅使用少量乘法器资源即可完成FR滤波器结构设计,FPGA的设计结构刚好与FIR滤波器的万方数据
- 2021-05-06下载
- 积分：1
刘宝碇--随机规划与模糊规划（1998）
随机规划与模糊规划全本，是一本很好的参考用书序言在现实世界上,人们制定决策时经常会磁到两类不确定性现象:一是随机现象,一类是模糊现象。揹述、刻匦随机现象的量称为随机变量,而描述、刻画模糊现象的量称为模糊集。为了方便,我们不妨把二者分别称为随机参数和模糊参数。含有随机和模糊参数的数学规划分别称为随机规划和模糊规划。既然随机性和模糊性都是用来处理不确定性的,我们将随机规划和模糊规划统称为不确定规划。本书将为随机规划和模糊规划提供统一的原理,并为一般不确定环境下的优化理论打下基础在很多实际问题中,如管理、工程、经济、工业以及生态等领域,系统是一个广泛使用的概念,而一个复杂的决策系统通常具有多维性、多样性、多功能性和多准则性,并带有随机或模糊参数。对于随机规划间题中所出现的随机变量,出于不同的管理目的和技术要求,采用的方法自然也不同。第一类处理随机规划中随机变量的方法是所谓的期望值模型,即一种在期望值约束下使目标函数的概率期望达到最优的模型.第二类方法是 Charnes和 Cooper提出的机会约束规划,主要针对约束条件中含有随机变量,目必须在观测到随机变量的实现之前作出决策的情况。考虑到所作决策在不利情况发生时可能不满足约束条件,而采用一种原则:即允许所作决策在一定程度上不满足约束条件,但该决策应使约束条件成立的概率不小于某一置信术平α。第三类隨杋规划是相关机会规划,是使事件的机会函数在不确定环境下达到最优的方法,在确定性规划以及期望值模型和机会约束规划中随机规划与模糊规攴当对实际问题建模以后,可行集本质上是确定的,这就可能导致所给出的最优解在实际中无法执,而相关机会规划并不假定可行集是确定的。实际上相关机会规划的可行集被描述为所谓的不确定环境。虽然相关机会规划也给出一个确定的解,但这个解只是要求在安际问题中尽可能地执行。显然,相关机会规划的这特点与确定性规划、期苤值棋型和机会约束规划是截然不同的沿用随机环境中枕会约東规划的思想,在模榈环境中,假定模糊约東成立的可能性不小于置信水平α,这样就可以建立模糊机会约束规划、机会约束多目标规划和机会约束目标规划.类似地,沿用随机环境下相关机会规划的思想,亦有模糊相关机会规划、相关机会多目标规划和相关机会目标规划理论随着计算机的飞速发展和革新算法的不断涌现,许多复杂的优化问题已可以通过计算机求解。虽然目前计算机的能力还只能处理小规模的不确定规划模型,但是,我们坚信计算机的能力将会大幅度提高。这就为求解更加复杂的优化问题提供了一个契机它不仅表现在已有的复杂模型可以通过计算机求解,而且表现在我们可以提出更丰富的建模恿想。基于这一事实,本书采用全新的观点处理随机娜划和模糊规划,并且允许不确定规划中的目标函数和约束函数是非线性的,随机参数的密度函数或模糊参数的隶属函数可以有更灬般的形式,模型的结构可以更加复杂等等夲书为求解传统方法所不能解决的随机规划和模糊规划模型,设计了一系列基于随杌模拟或模糊模拟的遗传算法、虽然遗传算法有耗时多、速度慢等缺点,但对传统方法无法处理的问题,遗传算法是一种非常有效的方法,而且随着计算机速度的提高,实际间题将可以在合理的计算时间内得到解决本书共分12章。第1章主要介绍数学规划的基本概念,如线性规划、非线性规划、多目标规划、目标规划以及整数规划,同时也勾画出了随机规划私模糊规划的理论框架.第2章为求解优序言化问题,如单目标规划、多目标规划和目标规划,提供了一个遗传算法,并通过一些数值例子解释了遗传算法的有效性。第3章列举了生成随杌数的方法,并介绍模糊集合的一些基础理论,以及随机模拟和模粉模拟的技术。第4章给出了期望值模型的一些基本性质。第5章讨论了带有随机参数的机会约束规划。第召章给出一些机会约束规划模型的应用。第7章讨论了随机环境下的相关机会规划模型。第8章通过相关机会规划模型对随机决策系统进行了建模。第9章把随机机会约束规划推广到模糊机会约東规划。而第10章把随机相关机会规划推广到模糊相关机会约束规划.传统的数学规划模型提供的是使一些目标函数达到最优的清晰决策,然而,对实际问题,有讨应该提供的是模糊决策而不是清晰决策,所以第11章建立了带有模糊决策的模糊规划的理论构架。在第9章和第11章所讨论的模糊系统中的机会约束规划模型夲质上是一种 Maximax模型(乐观模型),即极大化可能达到的最大收益.与 Maximax模型的思想不同,第12章介绍了Mamx机会约束规划模型,其思想是极大化可能达到的最小收益本书可作为高等院校有关专业的高年级大学生和研充生的教材,也可作为运筹学、管理科学、计算机科学、系统科学、信息科学与工程等方面的学者和技术人员的参考书目录序第1章数学规划筒介11线性规划1.2非线性规划1.3多目标规划614目标规划81.5整数规划16不确定规划12第2章遮传算法优化间题22表示结构1823处理约束条件824初始化过程2评价函数202选择过程2227交叉操作2328变异操作429遗传算法程序242I0遍传算法与上升法25211数值例子26随机规划与模糊规划第3章随机棋拟和棋糊棋拟a了31随机数的产生3832随机模拟4733模糊集合理论5034模糊模拟57第4章期望值樸型644.1期望值算子652期望值模型6643凸性684.4补偿模型..、7(45基于随机模我的遗传算法46注73第5章机会约束划7生51机会约束规划模型5.2确定生等价类53—些性质8354随机模拟885.5基于随机模拟的遗传算法56注94第6章机会约束规划的应用0561生产过程0562饲料混合问题6.3随机资源分配986开放存储网络0165资金预算112月录11第7章相关机会规划L1771背景;供给-分配系统177.2随机集合1217.3不确定坏璄12474事件和机会函数1257.5相关机会规划..,,]2876相关机会多目称规划,,1307.7相关机会目标规划1337.8执行墩优解3679机会函数的随机模拟1377.10基于随机模拟的遗传算法138711注143第8章随机决簟系統媓模1448.1水资源供给一分配问题14482生产过程l5283开放存储网络15484资金预算15g第9章模糊机会约束规划16491机会约束规划模型1659.2清晰等价类.1689.3模糊模拟17394基于模糊模拟的遗传算法17595资金预算1796注183第10章模糊环境下的相关机会规划18410.1相关机会规划184随机规划与糢糊规划102相关机会多目标规划18610.3相关机会目标规划18810.4杌会函教的模糊模拟19110.5基于模糊模拟的遗传算法92106注197第11章带有模糊决策的模糊规划181.1模糊决策198112机会约束规划模型20(113相关机会规划模型20214模糊模拟1.5基于模糊模拟的遗传算法21211.6数值例于21617注222第12章 Minimax机会约束规划模型223121 Marina模型223122 Minimax模型227123 Minimax与Ma2x1卫ha22912.4模糊模拟232125数值例于23生126注238参考文献240些常用的符号251索引252第1章数学规划简介数学规划是运筹学的一个重要分支,并已被广泛地应用到很多领域数学规划可以描述为在一些数学关系诸奶等式或不等式表示的约束条件下,求一个(或一组)数的极值问题的方法.常見的数学规划有线性规划、非线性规划、多目标规划、目标规划整数规划、多层规划、动态规划以及本书重点讨论的随机规划和模糊规划等等本章里,介绍一些数学规划的基本概念和处理技术,为引入殖机规划和模糊规划打下基硼1.1线性规划作为优化领域最重要的工具之一,线性规划是用来处理在线性等式及不等式组的约束条件下求线性函数的极值问题的方法线性规划的标准形式可以写为maKC11千C22+…十Cun12:+媛122+…+a1nxn=竹1a211千22+…axn=b4m121+(m232+…+ammn=bm3≥D3=1,2
- 2020-12-07下载
- 积分：1
