鲁棒控制——LMI处理方法
俞立老师的经典书籍——《鲁棒控制——基于线性矩阵不等式的处理方法》振动论坛鲁棒控制—线性矩阵不等式处理方法俞著清华大学出版社振动论坛(京)新登字158号内容简介木书结合作者的研究工作,详细介绍了基于线性矩阵不等式的不确定系统食棒控制的概念、理论及设计方法。主要为謇括日前应用广泛的线性矩阵不等式的概念、理论、算法及相关软件:基于线性矩阵不等式处理方法的线性时不变系统性能分析和缤合方法:重点介绍了不确定系统的模型、曹棒性能分妡、鲁棒砂以H控制、LM区域及相应的区域极点配置方法,绪合二次型性能指标的保性能控制、鲁榨方差控制对将系统的分析与鲁棒控制器设计、不确定系统的鲁滤波问题及鲁棒滤波器设计本书反映了近年来鲁棒控制领域中的最新研究成果,系统介纲了线性矩阵不等式这一有效工具,它在应用中的典型处理方法及 MATLAB软件中的LMI具箱,本书可作为从事自动控制工作的科研员、工技术人员以及高等院校自动化及其他相关专业教师高年级学生和研究生的参老用书版权所有,翻印必究本书封面貼有清华大学出版杜激光防伪标签,无标签者不得销售。书名:鲁棒控制—线性矩阵不等式处理方法作者:俞立著出版者:清华大学出版社(北京清华大学学研大厦,的编100084)http://www.lup,lsingt:ua.educn费任编辑:朱英彪印刷者:北京通州区大中印刷发行者:新华书店总店北京发行所开本;787×10921:16即张;17.75字数:403千字版次:202年12月第1版20年12月第1次印刷书号:ISEN730245854-7/O·269印数:0001~400定价:26.00元振动论坛前言在实际工业控制牛,各种工业牛产过程、生产设备以及其他众多的被控对象,其动态牿性一般鄱难以用精确的数学模型来描述。有时即使能获得被控对象的精确数学模型,但白于过于短杂,使得难以对其进行有效的掉制性能分析和综合,因此必须进行适当的简化。另一方面,难着生产过程中主作条件和环境的变化,控制系统中元器件的老化或损坏,被控对象本身的特性也会随之发生变化。所有这些因素使得描述被控对象的数学模型和实际对象之间不可避免地具有误差。因此,在工程实践中,釆用基于精确数学模型的现代控制理论方法所设计的控制系统往往难以具有所期望的性能,甚至连系统的稳定性都难以得到保证。鲁棒控制理论结合系统模型参数不确定性和外部找动不确定性的考虑,研究系统的鲁棒性能分析和综合问题,弥衤了现代控制理论需要对象精确数学模型的缺陷,使得系统的分析和综合方法加有效、实用棒挖制自提出以来,很快受到了人们的广泛重视和研究,取得了一系列的研究结果和方法,并在一些工程领域中获得了成功的应用。特别地,随着线性短阵不等式及求解凸优化问题的内点法的提出,为许多控制问题的分析和求解提供了有效工具。 MATLAB软件中线性矩阵不等式工具箱的推出使得各种线性矩阵不等式问题的求解旻加方便、直接从而,进一步推动了线性矩阵不等式处理方法在系统和控制领域中的应用。本书系统介绍了线性矩阵不等式的概念、性质、求解线性矩阵不等式相关问题的算法以及 MATLAB软件中的线性矩阵不等式工具箱。结合作者的研究工作,介绍了基丁线性矩阵不等式的鲁棒控制性能分析和综合方法,并指出了一些在系统和控制中有广泛应用价值的线性矩阵不等式典型处理方法。作者努力将售棒控制的最新研究成果和方法反映存本书中,但限于篇幅,书中所包含的内容仅仅是鲁棒控制研究成果的很少-部分。振于作者的水平,书中不妥和错误之处在所难免,恳请广大读者批评指正本书中介绍的作者研究工作及本书的撰写得到了国家然科学基金和教育部高校优秀青年教帅教学科研奖励计划的资助,在此表示衷心的感谢。作者02年5月杭州振动论坛目录第1章引言…第2章线性矩阵不等式……621线性矩阵不等式的表示式口·■■■甲↓郾■■.■看■■bL■2Ll1线性矩阵不等式的般表示2l2可转化成线性矩阵不等式表小的问题213复线性矩阵不等式的处理…10214非严格线性矩阵不等式22一堂标准的线性矩阵不等式间题23求解线性矩阵不等式问题的算法23.1椭球法…Isn15232内点法↓乐24关于矩阵不等式的一些结论1824.1矩阵变量的消去法1T·平P1t幽山I82.4.2 S-procedureP甲■20第3章系统性能分析.连续时间系纷…2331.1系统增益指标∴233,12H性能甲日唱·■唱日4自·日血即141■4b1293.13H性能3132离散时间系统1鲁日日司即■命b命即■■■■■着■■■着L=,341第4章控制系统综合.4.1F控制4.l.1状态反馈H控制…d?■■424.],2输出反馈Hx控制■p即42H2控制43H2H控制平1■十■昏■b■m■■■4■qp6144设计示例64第5章不确定系统的分析与综合685]不确定模型68振动论坛會棒控制——一线性矩阵不等式处理方法511不确定状态空闻模型68512不确定线性分式模型■p■b血d卩■b■52鲁棒稳定性分忻P‘■■日音牛114a日4521二次稳定性522仿射二次稳定性I"P}4Pbb4b4}·53鲁棒性能分析.…■■昏■昏1山■d■晶t■■p聊8354鲁棒F2H控制■■■山昏晉昏晋■+口■口■口6541问题的描述和准备…86542H2H整制器设计91第6章区域极点配置1亠山品品61LMI区域9761.】LM区域的描述…,-11111976,2D-稳定性分析…〓P■■■■■■■■■■10062具有闭坏k域极点约束状态反馈控制器设计0463鲁棒D-稳定性分析日日日语■山■,1763无结构不确定性1963.2结构不确定性111464输出反馈控制器设计,第7章保性能控制1227】连续系统的保性能控制…··■■晶■上h香≠p甲日目甲日唱黑L聊■12272离散系统的保性能掉制.12了73其有闭环极点约束的保性能挡制131731鲁棒性能分析…132732二次D保性能控制器设计看自;血自自血即血日昏■是■如4135第B章鲁棒方差控制1418I连续系统的鲁棒方差控制.■d昏【山■血晶b14181.Ⅰ系统性能分析1418L.2状态反馈控制器设计14813输出反愤控制器设计14682离散系统的鲁棒方差控制152第9章时滞系统的分析和综合15891时滞系统的稳定性…15891.1时滞独立的稳定性条件……,1599.1.2时滞依赖的稳定性条件,+--114141609.1.3 Lurie时滞系统的稳定性分析T宁宁·自血日甲自自要振动论坛自录92时滞系统的鲁棒稳定性分析16992.!时滞独立的鲁棒稳定性条件P·q甲,甲■15992.2时滞依赖的鲁棒稳定性条件17493不确定滞系统的保性能控制.■■■■793.1鲁棒性能分析I789.32状态反馈俣性能控制器设计,4.4.418393.3输出反馈俣性能控制器设计1869.34不确定离散时滞系统的保性能控制I9394时滞系统的玨控制941时滞系统的性能分析,…199942H控制器设计943不确定离散时滞系统的鲁棒H控制207第10章寯波器设计213101B滤波器设计2I310.2FH滤波器设计2l9第11章大系统射分散控制22311时滞系统的分散稳定化控制22311,2离散关联系统的分散保性能控制229l1,21保性能分析■■■山■↓山 -r.E= PPE+■▲画2291121分散保性能控制器设计234附录ALM工具箱介绍■L■■■an·■■甲口■看■■口■山241A.F线性矩阵不等式及相关术语……24LA.2线性矩阵不等式的确定■■■■昏昏斷■+d山夏旷aaa■_画d■242A.3信息提取2499A4绒性矩阵不等式求解器■■■■■■日■司罾■严早■■■吾-■山■山m矿画maaa250A.5结果验证…258A6修改一个线性矩阵不等式系统A.7一些进一步的功能261A.8系统棋型描述…,267参考文献270振动论坛第1章引言自20世纪5年代末现代控制理论誕生以米,控制理论得到了飞速的发展,并在20世纪60年代然航天领域中得到成功的应用。但是,现代控制理论在随后的工业应用中却遇到了很大的困难。我们知道,现代控制理论的许多结果都是基于对象的一个数学模型,根据系统的性能要求,通过刈被控对象的数学模型进行分析来设计系统的控制律,进而将所得到的控制律应用于被控对象来保证闭环系统貝有所期望的性能。显然,当对象模型不能精地描述被控对象或在系统运行过程中模型和实际对象产生侃离时,基于这栟的模型设计的控制系统很难保证具有所期望的性能要求实际上,对于复杂物理系统的模型,存在以下两个问题描述物理系统的解析模型很难,甚至不可能精确地刻画,因此为了便于处理,不得不筒化模刑:2.一个模型,无论多么详细,都不可能是物理系统的一个濤确表示。因此,模型存在本质的不精确性。建模中的以上两个方面称为模型的不确定性。对于一个复杂系统,为了得到一个较为简单的模型,一种处珄方法是将其分解线性部分和非线性部分的组合,进而用一个更空易处理和分析的对象来替代这个非线性邺分,达到简化原文复杂系统棋型的目的考虑由以下非线性微分方程描述的复杂动态系统x=f(x, m)H(x, u)初始条件是x(0),x()、y()和()是向量值函数,∫和h是光滑的向量值函数。在特殊的运行点附近,可以将系统(1.)分解成一个线性部分和一个线性部分的组合特别地,可以在原点x,)=(0,0处进行这样的分解。定义系统Ax t Bu+gtr, Wv=Cx+IH+rx, uj其中:A、B、C和D是系统(11)的一个线性化近似g(x,叫)=f(x,)-Ax-Br(, u)-hr, u)-Cx-Du显然,这样定义的系统(1.2)和系统(1:)是等价的。因此,它们之间存在-—对应的关系。得到这样的等价系统的一种方式是将函数∫和h在原点处线性化,可得Cl(x.)=(0.0)x,)=(0,Q)0.0Ca(x,)=()振动论坛鲁棒控制——线性矩阵不等式处理方浊进一步可以将方程(12)受成以下等价的形式:x= Ar I Bu I wL1.3y=cx+Da+脚2(14)(w1,w2}=(g(x,L),r(x,)(1.5设G是宙(1.3)~(1.4)式确定的映射;对给定的初始条作x(0),門2,)以(x环,y)。Ω是由(1.5)式确定的映射:(x,n)卜(1,2)。因此,〈1.3(1〕式描述的系统可以用图11来表示图11系统分解容易看到,G是系统的线性部分,Q是静杰的非线性映射。这样就将系统的非线性部分分离出来,归入到映射g中,非线性部分和线性部分通过反馈关联联系起来更一般地,我们用这样的方法不仅可以处理系统的非线性特性,而且也可以处理系统的某些动态特性。考虑由以下方程组描述的系练f2(x1,x2(1y=H(x1,x2,采用前面系统分解思想,对系统(16)中的方程x=f(x1,x2,4)卩=(x,x2进行分解,并得到:=团x+B+8(x2f2(x1,x2,a)(1.)卩=C1x+D4+r(x,x2,a)进步,系统(17)中的方程等价于以下的线性方程:x=A1x1+BM+即8y=C,+Du+M其中,w2}=(g1(x,x2,),P(x,x2,Bm)x2=f1(x,x2,x)(1,9)设G是由方程(18)描述的线性系统;(w3,2,(x,,y),是由(9)式描述的系统:(x1,4)"(m,m2)。对这样定义的G和Q,图1也同样描述了系统(1.6)。
- 2020-12-06下载
- 积分：1
word2vec_中的数学原理详解
word2vec_中的数学原理详解个人收集电子书，仅用学习使用，不可用于商业用途，如有版权问题，请联系删除！wordzvec中的数学hoty@163.com2014年7月目录前言2预备知识2.1 sigmoid函数2.2逻辑回归3 Bayes公式2.4 Huffman编码,,,,,,,,524.1Humu树242 Huttman树的构造62.4.3 Huffman编码..,.3背景知识3.1统计语言模3.2n-gram模型103.3神经概率语言模型123.4词向量的理解4基于 Hierarchical softmanⅹ的模型41CBOW模型..191.1.1网络结构41.2梯度计算201.2 Skip-gram模型42.1网络结构42.2梯度计算255基于 Negative sampling的模型285.1CBOW模型285.2 Skip-gram模型53负采样算法326若干源码细节346.1a(x)的近似计算62词典的存储63换行符3564低频词和高频词366.5窗口及上下文3766自应学习率3767参数初始化与训练386.8多线程并行3869几点疑问和思考11m3881前言word2vec是 Google于2013年开源推出的一个用于获取 word vector的工具包,它简单、高效,因此引起了很多人的关注,由于word2vec的作者 Tomas nikolov在两篇相关的论文(,[4)中并没有谈及太多算法细节,因而在一定程度上增加了这个工具包的神秘感些按捺不住的人于是选择了通过解剖源代码的方式来一窥究竟第一次接触word2ve是2013年的10月份,当时读了复且大学郑骁庆老师发表的论文7,其主要工作是将SENA的那套算法(8])搬到中文场景.觉得挺有意思,于是做了一个实现(可参见[20),但苦于其中字向量的训练时间太长,便选择使用word2we来提供字向量,没想到中文分词效果还不错,立马对word2vec刮目相看了一把,好奇心也随之增长后来.陆陆续续看到∫word2ve的一些具体应用,而 lomas nikolov团队本身也将其推广到了句子和文档(),因此觉得确实有必要对word2vec里的算法原理做个了解,以便对他们的后续研究进行追踪.于是,沉下心来,仔细读了一回代码,算是基本搞明臼里面的做法了.筼一个感觉就是,“明明是个很简单的浅层结构,为什么被那么多人沸沸扬扬地说成是Decp Learning呢?”解剖word2vec溟代码的过程中,除了算法层面的收获,其实编程技巧方面的收获乜颇多.既然花了功夫来读代码,还是把理解到的东西整理成文,给有需要的朋友提供点参考吧在整理本文的过程中,和深度学习群的群友北流浪子(15,16)进行了多次有益的讨论在比表示感谢另外,也参考了其他人的一些资料,鄱列在参考文献了,在此对他们的工作也并表示感谢2预备知识本节介绍word2vee中将用到的些重要知识点,包括 sigmoid函数、 Beyes公式和Huffman编码等821 sigmoid函数sigmoid函数是神经网络中常用的激活函数之一,其定义为1+e该函数的定义域为(-x,+x),值域为(0,1).图1给出了 sigmoid函数的图像0.5图1 sigmoid函数的图像sigmoid数的导函数具有以下形式)=0(x)1-0(x)由此易得,函数logo(a)和log(1-0(x)的导函数分别为log o(a)(21)公式(2.1)在后面的推寻中将用到822逻辑回归生活中经常会碰到二分类问题,例如,某封电子邮件是否为垃圾邮件,某个客户是否为在客户,某次在线交易是舌仔在诈行为,等等.设{(x,)}1为一个二分类问题的样本数据,其中x∈R",∈{0,1},当1=1时称相应的样本为正例,当v=0时称相应的样本为负例利用 sigmoid函数,对于任意样木x=(x1,x2,…,xn),可将二分类问题的 hypothesis函数写成h(x)=0(o+61x1+622+…+nxn),其中0=(0o,01,…,O)为待定参数.为了符号上简化起见,引入x0=1将x扩展为(x0,x1,x2,…,xrn)},且在不引起混淆的情况下仍将其记为ⅹ.于是,he可简写为取阀值T-0.5,则二分类的判别公式为1,b(x)≥0.5y(x0.5那参数θ如何求呢?通常的做法是,先确定一个形如下式的整体损失函数∑co(x,v)然后对其进行优化,从而得到最优的參数θ实际应用中,单个样本的损失函数cost(x,)常取为对数似然函数cosl(xi, yi)),v-1;(1-(x),v=0注意,上式是一个分段函数,也可将其写成如下的整体表达式cost(x2,3)=·log(ho(x)(1y1)·log(1h(x)323 Baves公式贝叶斯公式是英国数学家贝叶斯( Thomas Bayes)提出来的,用来描述两个条件概率之间的关系.若记P(A),P(B)分别表示事件A和事件B发生的概率,P(AB)我示事件B发生的情况下事件4发生的慨率P(A,B)表示事A.B同时发生的概率.则有P(AB)P(B), P(BLA)=P(A, B)P(A, B利用上式,进一步可得P(B AP(AB)-P(A)P(B)这就是 Bayes公式g2.4 Huffman编码本节简单介绍Humn编码(具体内容主要来白百度百F的词条.[10),为此,首先介绍Huffman树的定义及其构造算法§24.1 Huffman树在计算机科学中,树是一种重要的非线性数据结构,它是数据元素(在树中称为结点)按分支关系组织起来的结构.若干棵互不相交的树所构成的集合称为森林.下面给出几个与树相关的常用概念·路径和路径长度在一棵树中,从一个结点往下可以达到的孩子或孙子结点之间的通路,称为路径.通路中分支的数目称为路径长度.若规定根结点的层号为1,则从根结点到第L层结虑的路径长度为L-1●结点的权和带权路径长度若为树中结点赋予一个具有某种含义的(非负)数值,则这个数值称为该结点的权结点的带权路径长度是指,从根结点到该结点之间的路径长度亐该结点的杈的乘矾·树的带权路径长度树的带权路径长度规定为所有叶子结点的带权路径长度之和二叉树是每个结点最多有两个子树的有序树.两个子树通常被称为“左子树”和“右子树”,定义中的“有序”是指两个子树有左石之分,顺序不能颠倒给定n个权值作为n个叶子结点,树造一棵二叉树,若它的带权路径长度达到最小,则称这样的二叉树为最优二叉树,也称为 Huffman树82.4.2 Huffman树的构造给定m个权值{mn,m2;…,mn}作为二叉树的m个叶子结点,可通过以下算法来构造颗 Huffman树算法2.Ⅰ(Hu「man树构造算法)(1)将{1,2,……,wn}看成是有n棵树的表林(每树仅有一个结点)2)在森林中选出两个根结,的权值最小的树合并,作为-棵新树的左、右子树,且新树的根结点权值为其左、右子树根结点权值之和〔3)从森林中燜除选取的两樑树,并将新树加入森林(4)重复(2)、(3)步,直到森林中只剩一棵树为止,该树即为所求的 luffman树接下来,给出算法2.1的一个具体实例例2.1假设2114年世界杯期间,从新浪毀博中抓取了若干条与足球相关的微博,经统计,“我”、“喜欢”、“观看”、“巴西”、“足球”、“世界杯”这六个词岀现的次薮分别为15,8,6,5,3,1.请以这6个词为叶子结点,以相应词频当权值,构造一棵Hu∥n树.⊙Q⑨Q⊙只66如→只只③⊙图2 Huffman树的构造过程利用算法.,易知其枃造过程如国g所示,团中第六步给出了最终的 Hutman树,由囚可见词频越大的词离根结点越近构造过程中,通过合并新増的结点被标记为黄色.由于每两个结点邡要进行一次合并,因此,若叶子结点的个数为η,刘枃造的H們πω树中新増结点的个数为π-1.本例中n6,因此新增结,的个数为5注意,前面有捉到,二叉树的丙个子树是分左右的,对于某个非叶子结点来说,就是其两个孩子结点是分左右的,在本例中,统一将词频大的结点作为左孩子结点,词频小的作为右孩子结点当然,这只昃一个约定:你要将词頻大的结点作为右孩子结点也浸有问题§24.3 Huffman编码在数据通倍中,需要将传送的文宁转换成二进制的字符串,用0,1码的不同排列米表示字符.例如,需传送的报文为“A上 TER DATA EAR ARE ART AREA”,这里用到的字符集为“A,E,R,T,F,D”,各字母出现的次数为84,5,3,1,1,现要求为这些字母设计编码要区别6个字母,最简单的二进制编码方式是等长编码,固定采用3位二进制(23=8>6),可分别用000.001、010、011、100、101对“A,E,R,T,F,D”进行编码发送,当对方接收报文时再按照三位一分进行译码显然编码的长度取决报文中不同字符的个数,若报文中可能出现26个不同字符,则固定编码长度为5(2=32>26).然而,传送报文时总是希望总长度尽可能短.在实际应用中,各个字符的出现频度或使用次数是不相同的,如A、B、C的使用频率远远高于X、Y、7,自然会想到设计编码时,让使用频率高的用短码,使用频率低的用长码,以优化整个报文编码.为使不等长编码为前缀编码(即要求一个字符的编码不能是另一个字符編码的前缀),可用字符集中的每个宇符作为叶子结点生成一棵编码二叉树,为了获得传送报文的最短长度,可将每个字符的岀现频率作为字符结烹的权值赋予该结点上,显然字使用频率越小权值越小,权值越小叶子就越靠下,于是颎率小编码长,频率高编码短,这样就保证了此树的最小带权路径长度,效果上就是传送报文的最短长度.因此,求传送报文的最短长度问题转化为求由字符集中的所有字符作为叶子结点,由字符出现频率作为其权值所产生的Hman树的问题.利用 Hultman树设计的二进制前缀編码,称为 LuminaL编码,它既能满足前缀编码的条件,又能保证报文编码总长最短本文将介绍的word2ve工具中也将用到 Huffman编码,它把训练语料中的词当成叶子缩点,其在语料中出现的次数当作权值,通过构造相应的 Huttman树来对每一个词进行Huffman编码图3给岀了例2.1中六个词的 Huffman编码,其中约定(词频较大的)左孩子结点编码为1,(词频较小的)石孩子编码为θ.这惮一米,“我”、“喜欢”、“观看”、“巴西”、“足球”、“世界杯”这六个词的 Huffman编码分别为0.111,110,101,1001和10000我告欢巴匹0足球图3 Huffman编码示意图注意,到目前为止,关于 Huttman树和 Huttman編码,有两个约定:(1)将权值大的结点作为左孩子结点,权值小的作为右孩子结点(2)左孩子结点编码为1,右孩子结点编码为0.在word2vec源码中将权值较大的孩子结点编码为1,较小的孩子结点编码为0.为与上述约定统一起见,下文中提到的“左孩了结点"都是指权值较大的孩了结点83背景知识word2vec是用来生成词向量的工具,而词向量与语言模型有着密切的关系,为此,不妨先了解一些语言模型方面的知识83.1统计语言模型当今的互联网迅猛发展,每天都在产生大量的文本、图片、语音和视频数据,要对这些数据进行处理并从中挖掘岀有价值的信息,离不开自然语言处理( Nature Language processing,NP)技术,其中统计语言模型( Statistical language model)就是很重要的一环,它是所有NLP的基础,被广泛应用于语音识别、机器翻译、分词、词性标注和信息检索等任务.例.1在语音识别糸统中,对于给定的语音段Vire,霄要找到一个使概率p( TertVoice最大的文本段Tert.利用 Bayes公式,有P(Teat voice)p(VoiceText). p(Textp(Voice)其中p( CicetE.c)为声学模型,而 elEct)为语言模型(18])简单地说统计语言模型是用来计算一个句子的概率的概率模驷,它通常基于一个语料库来构建.那什么叫做一个句子的概率呢?假设W=m1:=(m1,2,…,mr)表示由T个词,2,……,按顺序构成的一个句子,则1,c2…,w的联合慨率p()=p(x1)=p(01,t2,…,r)就是这个句子的概率利用 Bayes公式,上式可以被链式地分解为p(uh)-p(1)·p(u2lu1)p(u3lu2)…p( wru-1),(3.1)其中的(条件)概率p(1),p(2t1),p(un),…,p(mr1-)就是语言模型的参数,若这些参数已经全部算得,那么给定一个句子U1,就可以很快地算出相应的p(1)了看起来奷像很简单,是吧?但是,具体实现起来还是有点麻烦.例如.先来看看模型参数的个数.剛刚才是考虑一个给定的长度为T的句子,就需要计算T个参数.不妨假设语料库对应词典D的大小(即词汇量)为N,那么,如果考虑长度为T的任意句子,理论上就有M种可能.而每种可能都要计算T个参数,总共就需要计算TN7个参数.当然,这里只是简单估算,并没有考虑重复参数,但这个量级还是有蛮吓人.此外,这些概率计算好后,还得保存下来,因此,存储这些信息乜需要很大的內存开销此外,这些参数如何计算呢?常见的方法有n-gram模型、决策树、最大熵模型、最大熵马尔科夫模型、条件随机场、神经网络等方法,本文只讨论n-gram模型和神经网络两种方法.首先来看看 n-gram模型
- 2020-12-04下载
- 积分：1
