控制理论中的代数基础
中科大的教材,属于基础类的数学课程,课本教材简单通俗易懂,望大家下载啊前言在自动控制专业中,线性代数或矩阵论是一个重要的数学基础.比如,矩阵范数、矩阵函数及矩阵微分方程是线性系统理论必不可少的预备知识,线性系统多变量频域法建立在多项式矩阵及有理分式矩阵理论基础上,现代鲁棒控制方法可以采用线性矩阵不等式工具来实现.即便刈于非线性系统,除了需要引入更深刻的数学工具之外,矩阵分析方法仍是不可或缺的手段因此,一些人学自动控制专业特别将矩阵分析纳入研究生课程体系,就是要在人学本科线性代数的基础上,进一步增加内容以符合控制相关学科的专业需求作者在中国科学技术大学自动化系从事“控制理论中的代数基础”教学多年从选择现成教材到开始自编讲义,讲义形式从电子版到胶印版,内容在不断扩充中现在讲义内容己超出60至80学时的教学量,教师可以选择一部分讲授,其余部分可以计学生自学或作为可随时查阅的参考书.本书涉及范围较广,编写中参阅了不少经典文献.编写风格上追求叙述简洁、注重逻辑体系严谨性.因篇幅所限及个人倾向性,本书很少讨论相关的计算方法,虽然算法问题也很重要.如果作为教学用书,教师可自行选择讲授范围并增加一些实例.本书也可作为其它专业研究生、工程师和科研人员的参考书.本书共分八章.第一、二章扼要介绍抽象代数基础.第三、四章讲述线性空间与线性映射,特别是不变子空间分解定理等.第五章从多项式矩阵入手,讨论多项式矩阵 Smith标准形和复矩阵 ordan标准形,并介绍投影矩阵、正规矩阵和Hermite二次型等.第六章介绍矩阵范数、矩阵级数和矩阵函数,并讨论线性系统的稳定性、可控性与可观性.第七章包括各类广义逆矩阵、矩阵方程及矩阵不等式.第八章讨论多项式矩阵的互质、分式矩阵的既约分解,以及线性系统的零极点与实现理论.在本书编写过程中,承蒙中国科学技术大学自动化系各位同仁的支持,特别是奚宏生教授、吴刚教授的鼓励与支持.在本书排版与定稿过程中,中国科学技术大学出版社张莹莹、沈轩和韩继伟等编辑提岀了宝贵意见并给予帮助.硏究生魏波、王兴虎和陈珊杰对书稿进行了仔细校对.作者在此一并深表感谢.限于作者水平书中不妥与错误之处在所难免,敬请读者批评指正.作者2008年春lI目录第一章集合、映射与关系31.1集合1.2映射习题1-11.3代数运算1267831.4代数关系31.5等价类10习题12第二章基本代数系统142.1群142.2环与域162.2.1环162.2.2域..19§23代数系的同态习题2-124子群与陪集习题22§25环的理想§2.6多项式环§27同态基本定理423602习题2-3第三章线性空间与线性映射44531线性空间44532线性空间的基与维数533线性映射.52习题3-15734商空间58535对偶空间目录3.6内积空间37酉变换习题3-2..第四章线性变换与空间分解75§41不变子空间7542特征值问题75§43投影算子77§4.4最小多项式§4.5空间互质分解844.6空间循环分解87习题4198第五章相似变换与酉变换1015.1多项式矩阵1012 Smith标准形10653 Jordan标准形110习题5-111854正交投影与正规矩阵.12055二次型127§5.6奇值分解134习题52..137第六章矩阵范数与矩阵函数14056.1向量范数14056.2矩阵范数.146563向量和矩阵的极限153§6.4特征值与谱半径的估计158习题6-1160§6.5矩阵幂级数16266矩阵函数.164§6.7函数向量或矩阵的微积分173§68常用矩阵函数176§6.9线性系统的稳定性、可控性与可观性179目录习题62187第七章广义逆矩阵、矩阵方程189§7.1广义逆矩阵..18987.2 Penrose- Moore厂义逆矩阵193§7.3 Drazin逆与群逆习题71....20374矩阵的 Kronecker积.20437.5线性矩阵不等式209习题72214第八章多项式矩阵与有理分式矩阵21581多项式矩阵的理想21582多项式矩阵的因子与互质.21683有理分式矩阵.22584有理分式矩阵的既约分解228习题8-1..23238.5系统矩阵的等价变换233§86线性系统的实现理论23987传递函数矩阵的状态空间实现与可控可观24288线性系统的零板点249习题8-225参考书目260索引261目录第一章集合、映射与关系在认识世界的过程中,我们常常倾向于从一些具体事件中归纳出有规律性的东西来.比如说,我们把数字与具体对象分离开来,得到初等数学中数的概念,并给予了加、减、乘、除等运算规律:在髙等数学里,我们知道对向量、矩阵、函数等可以进行类似的计算在数学上,往往重要的不是对象本身,而是对象之间的关系这样就把对象抽象成集合.一般代数(或抽象代数)的主要内容就是研究所谓的代数系统,即具有运算的集合.一般代数在数学的其它分支以及相关学科里都有重要的作用.本书的前二章对一般代数作一个初步介绍81.1集集合的概念大家以前在不同场合会遇到过,这里我们来回顾一下有关的定义及常用记号若十个(有限或无限)确定的事物的全体叫做一个集合,组成一个集合的事物叫做这个集合的元素.一个没有元素的集合称为空集.通常我们用大写字母A,B,C,表示集合,用小写字母a,b,c,表示集合的元素,用②表示空集面的二种方式都可以表示一个集合:A={a1,a2,}其中第一种方式可用来表示有限或可列集合,第二种方式可读为满足条件P(x)的所有x组成的集合若a是集合A的一个元素,就说a属于A或A包含a,用符号a∈A或A3a米表示;反之若a不是集A的元,就说a不属于A或A不包含a,用符号agA或Aa米表示若集合B的每一个元素都属于集合A,就说B是A的子集,用符号BcA或A>B表示;否则就说B不是A的子集,用符号BgA或AB表示.任集合A总可以空集和其自身A作为该集合的子集,这两个子集称为平凡子集由一个集合A的所有子集作为元素而构成的集合,称为集A的幂集.不难证明,如果集A是有限集,并具有n个元素则A的幂集将有2个元素.在这个意义上我们常将A的幂集记为24第一章集合、映射与关系若集合A和集合B所包含的元素完全相同,那么A与B实际上表示同一个集合,这时称A等于B,即A_B.显然有A=B→ACB,AB式中双向蕴含号“←→”表示其左右两边互为(充分必要的)等价命题下面对二个集合A,B定义一些常见的运算并集AUB={x:x∈A或r∈B}交集A∩B={x:∈A且r∈B}差集4B={x:x∈A且xgB}直积A×B={(x,y):∈A,y∈B}集合的并和父都满足结合律与父换律,并且并与父之间还符合分配律,即对任意三个集合A,B,C有Au(B∩C)=(AUB)n(AUC)A∩(BUC)=(∩B)∪(A∩C)在很多情况下,我们的矿究对象是限制在定的范围内,形成个基本集合(全集),我们感兴趣的是基本集合里的了集之间的关系.现设有基本集合E,以及其中的集合A(AcE),称差集EA为集A的补集(余集),记x=EA作为直积的一个例子,两个实数集R的直积为平面点集R2=R×R多个集合之直积可以类似地定义为41×A2×……An={(x1,x2,…,mn):x;∈A,=1,2,…,m}式中(x1,x2,,xn)是元有序组812映射我们知道,函数概念反映了数与数之间的对应关系,现在我们把函数意义推广一下,考查一般集合里的元素之间的对应关系定义1.21(映射)对于两个集合A和B,如果能够建立某种规则∫,使得对任给a∈A,存在唯一的元b∈B与之对应,记为f:a口b或f(a)=b,那么就称∫是由集A到集B的一个映射,记作∫:A→B或A→B,其中a和b可分别叫做映射f的原象与象
- 2020-12-07下载
- 积分:1
Google word2vec算法 数学原理
文档是 word2vec 算法 数学原理详解。word2vec是google的一个开源工具,能够仅仅根据输入的词的集合计算出词与词直接的距离,既然距离知道了自然也就能聚类了,而且这个工具本身就自带了聚类功能,很是强大。32预备知识本节介绍word2v中将用到的一些重要知识点,包括 sigmoid函数、 Bccs公式和Huffman编码等821 sigmoid函数sigmoid函数是神经网络中常用的激活函数之一,其定义为1+e该函数的定义域为(-∞,+∞),值域为(0,1).图1给出了 sigmoid函数的图像0.56图1 sigmoid函数的图像sigmoid函数的导函数具有以下形式(x)=0(x)1-0(x)由此易得,函数loga(x)和log(1-0(x)的导函数分别为log a(a)-1 a(a),log(1 o(a))l-a(a),(2.1)公式(2.1)在后面的推导中将用到32.2逻辑回归生活中经常会碰到二分类问题,例如,某封电子邮件是否为垃圾邮件,某个客户是否为潜在客户,某次在线交易是否存在欺诈行为,等等设{(x;)}温1为一个二分类问题的样本数据,其中x∈Rn,∈{0,1},当v=1时称相应的样本为正例当v=0时称相应的样本为负例利用 sigmoid函数,对于任意样本x=(x1,x2,…,xn),可将二分类问题的 hypothesis函数写成h(x)=o(6o+b1x1+62+…+bnxn)其中θ=(0,61,…,On)为待定参数.为了符号上简化起见,引入x0=1将x扩展为(x0,x1,x2,……,xn),且在不引起混淆的情况下仍将其记为ⅹ.于是,he可简写为取阀值T=0.5,则二分类的判别公式为ho(x)≥0.5:X)=0,ha(x)6),可分别用000001、010、011、100、101对“A,E,R,T,F,D”进行编码发送,当对方接收报文时再按照三位一分进行译码显然编码的长度取决报文中不同字符的个数.若报文中可能出现26个不同字符,则固定编码长度为5(25=32>26).然而,传送报文时总是希望总长度尽可能短.在实际应用中各个字符的出现频度或使用次数是不相同的,如A、B、C的使用颗率远远高于X、Y、Z,自然会想到设计编码时,让使用频率高的用短码,使用频率低的用长码,以优化整个报文编码为使不等长编码为前缀编码(即要求一个字符的编码不能是另一个字符编码的前缀),可用字符集中的每个字符作为叶子结点生成一棵编码二叉树,为了获得传送报文的最短长度,可将每个字符的岀现频率作为字符结点的权值赋于该结点上,显然字使用频率越小权值起小,权值越小叶子就越靠下,于是频率小编码长,频率高编码短,这样就保证了此树的最小带权路径长度,效果上就是传送报文的最短长度.因此,求传送报文的最短长度问题转化为求由字符集中的所有字符作为叶子结点,由字符出现频率作为其权值所产生的 Huffman树的问题.利用 Huffman树设计的二进制前缀编码,称为 Huffman编码,它既能满足前缀编码的条件,又能保证报文编码总长最短本文将介绍的word2ve工具中也将用到 Huffman编码,它把训练语料中的词当成叶子结点,其在语料中岀现的次数当作权值,通过构造相应的 Huffman树来对每一个词进行Huffman编码图3给岀了例2.1中六个词的 Huffman编码,其中约定(词频较大的)左孩子结点编码为1,(词频较小的)右孩子编码为0.这样一来,“我”、“喜欢”、“观看”、“巴西”、“足球”、“世界杯”这六个词的 Huffman编码分别为0,111,110,101,1001和100000欢观有巴西足球图3 Huffman编码示意图注意,到目前为止关于 Huffman树和 Huffman编码,有两个约定:(1)将权值大的结点作为左孩子结点,权值小的作为右孩子结点;(②)左孩子结点编码为1,右孩子结点编码为0.在word2vee源码中将权值较大的孩子结点编码为1,较小的孩子结点编码为θ.为亐上述约定统一起见,下文中提到的“左孩子结点”都是指权值较大的孩子结点3背景知识word2vec是用来生成词向量的工具,而词向量与语言模型有着密切的关系,为此,不妨先来了解一些语言模型方面的知识83.1统计语言模型当今的互联网迅猛发展,每天都在产生大量的文本、图片、语音和视频数据,要对这些数据进行处理并从中挖掘出有价值的信息,离不开自然语言处理( Nature Language processingNIP)技术,其中统计语言模型( Statistical language model)就是很重要的一环,它是所有NLP的基础,被广泛应用于语音识别、机器翻译、分词、词性标注和信息检索等任务例3.1在语音识别亲统中,对于给定的语音段Voie,需要找到一个使概率p(Tcrt| Voice最大的文本段Tert.利用 Bayes公式,有P(Teact Voice)p(VoiceTert)p(Text)P(Veonce其中p( Voice Teat)为声学模型,而p(Tert)为语言模型(l8])简单地说,统计语言模型是用来计算一个句子的概率的概率模型,它通常基于一个语料库来构建那什么叫做一个句子的概率呢?假设W=m1:=(n1,w2,…,tr)表示由T个词1,2,…,ur按顺序构成的一个句子,则n,U2,…,wr的联合概率p(W)=p(u1)=p(u1,u2,…,r)就是这个句子的概率.利用 Baves公式,上式可以被链式地分解为1)=p(u1)·p(u2l1)·p(vai)…p(ur1-)3.1其中的(条件)概率p(1),p(U2mn1),p(u3),…,p(urln1-1)就是语言模型的参数,若这些参数巳经全部算得,那么给定一个句子1,就可以很快地算出相应的p(1)了看起来妤像很简单,是吧?但是,具体实现起来还是有点麻烦.例如,先来看看模型参数的个数.刚才是考虑一个给定的长度为T的句子,就需要计算T个参数.不妨假设语料库对应词典D的大小(即词汇量)为N,那么,如果考虑长度为T的任意句子,理论上就有N种可能,而每种可能都要计算T个参数,总共就需要计算TN个参数.当然,这里只是简单估算,并没有考虑重复参数,但这个量级还是有蛮吓人.此外,这些概率计算好后,还得保存下来,因此,存储这些信息也需要很大的內存开销此外,这些参数如何计算呢?常见的方法有 II-gram模型、决策树、最大熵模型、最大熵马尔科夫模型、条件随杋场、神经网络等方法.本文只讨论n-gram模型和神经网络两种方法.首先来看看n-gram模型32n-gram模型考虑pko4-)(k>1)的近似计算.利用 Baves公式,有p(wr wi)P(uP(w根据大数定理,当语料库足够大时,p(k4-1)可近似地表示为P(wwi)count(wi)(3.2)count(a其中 count(u4)和 count-)分别表示词串t和v-在语料中出现的次数,可想而知,当k很大时, count(o4)和 count(4-1)的统计将会多么耗时从公式(3.1)可以看出:一个词出现的慨率与它前面的所有词都相关.如果假定一个词出现的概率只与它前面固定数目的词相关呢?这就是n-gran模型的基本思想,它作了一个n-1阶的 Markov假设,认为一个词出现的概率就只与它前面的n-1个词相关,即-1)≈p(kk-1+),于是,(3.2)就变成了p(wxJuk-)count(n+1countri(3.3以〃=2为例,就有p(uk4-1)≈count(k-1, Wk)count(Wk-1)这样一简化,不仅使得单个参数的统计变得更容易(统计时需要匹配的词串更短),也使得参数的总数变少了那么, n-gran中的参数n取多大比较合适呢?一般来说,n的选取需要同时考虑计算复杂度和模型效果两个因素表1模型参数数量与n的关系模型参数数量1( ingram)2×1052(bigram)4×10103( trigram)8×10154(4grm)16×10在计算复杂度方面,表1给出了n-gram模型中模型参数数量随着n的逐渐增大而变化的情况,其中假定词典大小N=2000(汉语的词汇量大致是这个量级).事实上,模型参数的量级是N的指数函数(O(N"),显然n不能取得太大,实际应用中最多的是采用n=3的三元模型在模型效果方面,理论上是π越大,效果越奷.现如今,互联网的海量数据以及机器性能的提升使得计算更高阶的语言模型(如n>10)成为可能,但需要注意的是,当n大到一定程度时,模型效果的提升幅度会变小.例如,当n从1到2,再从2到3时,模型的效果上升显著,而从3到4时,效果的提升就不显著了(具体可参考吴军在《数学之美》中的相关章节).事实上,这里还涉及到一个可靠性和可区别性的问题,参数越多,可区别性越好,但同时单个参数的实例变少从而降低了可靠性,因此需要在可靠性和可区别性之间进行折中另外, n-gran模型中还有一个叫做平滑化的重要环节.回到公式(3.3),考虑两个问题:若 count(uk-n+1)=0,能否认为p(kln1-1)就等于0呢?若 count(kn+)= count(uk-+1,能否认为p(uur-)就等于1呢?显然不能!但这是一个无法回避的问题,哪怕你的语料库有多么大.平滑化技术就是用来处理这个问题的,这里不展开讨论,具体可参考[11总结起来,n-gram模型是这样一种模型,其主要工作是在语料中统计各种词串岀现的次数以及平滑化处理.概率值计算好之后就存储起来,下次需要计算一个句子的概率时,只需找到相关的概率参数,将它们连乘起来就好了然而,在机器学习领域有一种通用的招数是这样的:对所考虑的问题建模后先为其构造一个目标函数,然后对这个目标函数进行优化,从而求得一组最优的参数,最后利用这组最优参数对应的模型来进行预測对于统计语言模型而言,利用最大似然,可把目标函数设为plwlConteat(w))∈C其中C表示语料( Corpus), Context(u)表示词U的上下文( Context),即周边的词的集合.当 Context(u)为空时,就取p( Context(w)=p(u).特别地,对于前面介绍的 n-gran模型,就有 Context(mn)=2-n+1注3.1语料¢和词典仍的区别:词典仍是从语料¢中抽取岀来的,不存在重复的词;而语料C是指所有的文本內容,包括重复的词当然,实际应用中常采用最大对数似然,即把目标函数设为∑ logp(u( ontext(o)(3.4)然后对这个函数进行最大化从(3.4)可见,概率p( CONtex()已被视为关于和 Context()的函数,即p(w Context(w))= F(w, Conteact(w), 0)
- 2020-06-14下载
- 积分:1