支持向量机
关于支持向量机里面讲核函数的，介绍了线性核函数、高斯核函数、及多项式核函数等。还介绍了核函数的判定以及Mercer定理1x1121T3212T42.3p(a)L313x2.3.32cT1V2C.223+d更一般地,核数K(x2z)=(xz+)“对应的映射后特征维度为a(求解方法参见http://zhidao.baiducom/question/16706714.html)由于计算的是内积,我们可以想到IR中的余弦相似度,如果ⅹ和z向量夹角越小,那么核函数值越大,反之,越小。因此,核函数值是(x)和(z)的相似度。再看另外一个核函数K(r, z)=expz-z|222这时,如果x和z很相近(x-2‖≈0),那么核函数值为1,如果x和z相差很大(x-2》0),那么核函数值约等于0。由于这个函数类似于高斯分布,因此称为高斯核函数,也叫做径向基函数( Radial basis function简称RBF)。它能够把原始特征映射到无穷维。既然高斯核函数能够比较ⅹ和z的相似度,并映射到0到1,回想 logistic回归, sigmoid函数可以,因此还有sigmoid核函数等等下面有张图说明在低维线性不可分时,映射到高维后就可分了,使用高斯核函数。Linear回回看目即Gaussian来自 Eric Xing的sdes注意,使用核函数后,怎么分类新来的样本呢?线性的时候我们使用SVM学与出W和b,新来样木ⅹ的话,我们使用wTx+ b来判断,如果值大于等于1,那么是正类,小于等于是负类。在两者之间,认为无法确定。如果使用了核函数后,W2x+b就变成了wφ(x)+b,是否先要找到p(x),然后再预测?答案背定不是了,找φ(x很麻烦,回想我们之前说过的wa+6=boy(0)x+bi=1(x(,x)+b只需将替换成(x,x),然后值的判断同上8核函数有效性判定问题:给定一个函数K,我们能否使用K来替代计算φ(x)2中(z),也就说,是否能够找出一个,使得对丁所有的x和z,都有k(x,2)=(x)r中(2)9比如给出了K(x,2)=(x2)2,是否能够认为K是一个有效的核函数下面来解决这个问题,给定m个训练样本全(r(3xm,每一个对应一个特征向量。那么,我们可以将(e) yJ仟意两个和带入K中,计算得到=0。I可以从1到m,j以从1到m,这样可以计算出m*m的核函数矩阵( Kernel Matrix)。为了方便,我们将核函数矩阵和(x,z)都使用K来表示如果假设K是有效地核函数,那么根据核函数定义k1=K(x0x0)=p(x()p(x0)=p(x(0)p(x()=K(x(,x)=K可见,矩阵K应该是个对称阵。让我们得出一个更强的结论,首先使用符号中x(x)来表示映射函数中(x)的第k维属性值。那么对于任意向量z,得2K2=∑∑2K3∑∑(m0y(0)2∑∑∑(z0)(x0)z∑∑∑29(x)k(z0)k i j=S|∑zipk(c(ak0.最后一步和前面计算K(x)=(x2)时类似。从这个公式我们可以看出,如果K是个有效的核函数(即K(xz)和(x)p(2)等价),那么,在训练集上得到的核函数矩阵K应该是半正定的(K≥0这样我们得到一个核函数的必要条件:K是有效的核函数==>核函数矩阵K是对称半正定的可幸的是,这个条件也是充分的,由 Mercer定理来表达。Mercer定理:如果函数K是×四→巫上的映射(也就是从两个n维向量映射到实数域)。那么如果K是一个有效核函数(也称为 Mercer核函数),那么当且仅当对于训练样例(r()x(m,其相应的核函数矩阵是对称半正定的。Mercer定理表明为了证明K是有效的核函数,那么我们不用去寻找φ,而只需要在训练集上求出各,然后判断矩阵K是否是半正定(使用左上角主子式大于等于零等方法)即可。许多其他的教科书在 Mercer定理证明过程中使用了范数和再生希尔伯特空间等概念,但在特征是n维的情况下,这里给出的证明是等价的。核函数不仅仅用在SWM上,但凡在一个模型后算法中出现了,我们都可以常使用区(xz)去替换,这可能能够很好地改善我们的算法。posted on2011-03-1820:22 Jerry Lead阅读(…)评论(…)编辑收藏刷新评论刷新页面返回顶部博客园首页博问新闻闪存程序员招聘知识库Powered by:博客园 Copyright@ Jerry Lead
- 2020-12-01下载
- 积分：1
计算机控制系统-高金源
计算机控制系统教材，自动控制原理学习可以参考，比较系统和工程计算杋在实时控制领域获得了广泛的应用。在国民经济及国防等各个领域中采用计算机控制是现代化的亘要标志。计算机控制学科将涉炇计算机控制的基木理论、分析、设计与工程实现等众多方面的内容。本书是依高等学校自动化专业本科及研究生的教学要求而编写的。力图使读者通过本书的学习,除了掌握一定的计算机控制的基本理论和分析、设计方法外,对计算机控制系统的工程实现技术以及近年来工业上获得广泛应用的一些新的计算机控制技术亦有所了解。仝书除第1章外主要包括四大部分内容:①计算机控制的理论基础(包括计算机控制系统内的信号、系统的描述与分析方法等),(第2章~第4章);②计算机控制系统的经典与现代设计方法(包括连续域设计离散化方法、直接离散域设计以及W、δ域设计和状态空间的极点配置LQR设计等),(第5章、第6章);③计算机控制系统工程实现技术(包括计算机控制系统的硬什、软件、控制算法的编排、总线技术、采样周期的选用以及抗干扰与可靠性技术、设计步骤与设计实例等),(第7章、第8章);④第10章~第12章重点介绍∫现代计算机控制的一些新技术(包括可编程控制器技术、分布式讣算机控制技术、集散型计算机控制等)。考虑到许多复杂的计算机控制系统是多采样速率系统,故专门用1章(第9章)概要地介绍∫多采样速率系统的分析、设计与实现方面的问题。鉴于自动化专业的学生,在选修课中已对微机原理及接口技术有了专门的学习,故木书对有关计算机硬件系统将不予专门的介绍。学习本书的知识背景是:一般连续控制理论(或信号与系统)的基本知识以及微机原理和微机接口的基本知识。根据多年的教学经验,在学习木课程时应安排必要的简单计算机控制系统设计与实现的实验内谷,或者后续课程安排专门的计算机控制系统的系列实验课,这对于巩固学习效果、对于学生将来参加计算机控制系统开发的实际工作是很有益处的考虑到本书要兼顾作为工学或工程硕士研究生的计算机控制课的教材,选用的内容多于通常本科生教学大纲所规定的内容。教学时可以根据本科生及研究生不同的教学大纲及学时要求,适当选用不同的章节。多余章节亦可作为学习的参考。本书是本教学小组在总结近20年计算机控制教学经验以及参阅了近年来国内外有关院校的教材,并结合我们的科硏实践经验编写的。全书由高金涼教授统编并负责编写第1章和第9章;王醒华教授负责编写第2章~第5章;张平副教授负责编写第6章及5.5节;夏洁副教授负责编写第7章、第8章、第10章~第12章。全书承陈忠信研究员进行了详细的审阅,并提出了许多宝贵意见,在此表示衷心的感谢本书的岀版受到了北航教材科领导的大力攴持与帮助。责任编辑张光斌先生为本书的凸版做∫大量细致工作。在此对他们的关心与支持表示衷心的谢意由于编者的知识与经验不足,时间有限,不妥之处在所难免,期望得到读者及同学们的批评指止编者2000年5月录第1章绪论1.1计算机控制系统的组成12计算机控制系统典型应用分关·:·13关于计算机控制系统的理论与设计问题第2章讣算机控制系统的信号21计算机控制系统中信号的种类22埋想采样过程的数学描述及特性分析···鲁·1323实际采样过程的数学描述及特性分析…2424采样定理及其讨论…···2725信号的恢复与重构…2926信号的整量化习题36第3章计算机控制系统的数学描述31z变换3832扩展Z变换48差分方程34脉冲传递函数·55小题第4章计算机控制系统分析4.1稳定性分析6742稳态误差分析7743时域响应特性分析…8244系统的频域分析…87习题91第5章计算机控制系统的绎典设计方法51连续域一离散化设计9452数字PID控制器设计11253Z平面根轨迹设计11954W变换及频率域设计12755δ变换及δ域设计136题142第6章计算机控制系统的状态空间设计6.1状态空间描述14562离散系统的可控、可观性……15363状态反馈控制律的极点配置设计64状态观测器设计16565调节器设计(控制律与观测器的纽合)…l712·计算机控制系统——理论、设计与实现66计算机控制系统最优二次型设计…∴1746.7最优状态估计器与二次型最优调节器…18468其他现代数字控制方法简介186鲁··、··鲁鲁………∴89第7章计算机控制系统硬件与软件7控制用计算机系统的一般要求19272计算机系统的输入输出接口……………19873实时计算机系统的总线技术………………………20674计算机控制系统的实时软件设计……………217习题225第8章计算机控制系统工程实现中的某些冋题8』计算机控制系统中测试信号的处理22682控制算法的编排实现23083量化、溢出及其量化效应分析....…………………23484采样频峯的选取24485计算机控制系统的抗千扰及可靠性抆术24886计算机控制系统的设计与实现258与题268第9章多采样速率系统91多采样速率的配置………27092多速率系统的等效变换27193多速率系统性能分析28194多速率系统的设计方法28595多速率系统的实现·鲁287习题a:..··4·294第10章可编程控制器及应用101概述296102可编程控制器的结构和工作原理299103可编程控制器常用编程语言303104常用可编程控制器及其选用308105应用举例…习题312第11章分布式计算机控制系统111概述313112分布式计算机控制系统控制方案316113分布式计算机控制系统的硬件组成…32014分布式计算机控制系统的通讯322329第12章集散型计算机控制系统及其应用12Ⅰ集散型计算机控制系统概述…∴330122软件模块的纠态原埋………335123集散系统的可扩展性..4““4:.·.338124集散系统应用举例鲁··、··鲁鲁341习题345附录拉普拉斯变换和Z变换表参考文献第1章绪论数字计算机的出现和发展,在科学技术上引起了一场深刻的革命。数字计算机不仅在科学计算、数据处理等方面获得了广泛的应用,而且在自动控制领域也得到了越来越广泛的应用。数字计算机在自动控制中的基本应用就是直接参与控制,承担∫控制系统中控制器的任务,从而形成了计算机控制系统。它的参与对控制系统的性能、系统的结构以及控制理论等多方闻都产生了极为深刻的影响。木章简要介绍计算机控制系统的组成、工作原理以及它的特点,并着重说明计算机参与控制后给控制埋论及控制系统设计所带来的新问题l.1计算机控制系统的组成1.1.1计算机控制系统的组成图1-1为一个典型的雷达天线位置伺服控制系统。为了改善系统的特性,该系统采用了滞后ˉ超前岀联校正网络,该校正网络是利用常规的有源模拟运算放大器实现的。如果系统的恔正网络非常复杂,釆用这种模拟运算放大器的有源网终实现将是非常困难的。如果将系统中对信号的这种变换和处理利用数字计算机来实现,那么就构成了常规的计算机控制系统。M校正网络指令信号电位计反馈电位计图雷达天线位置伺服控制系统这里计算机实现了原控制系统中控制器的作用。由于数字计算机工作的特点,为了使计算机能接收系统的模拟信号,并输岀迕续的模拟信号给大线的拖动机构,所以,除∫要引入数字计算机外,还要加入其他的外部设备,如AD、DA转换器,从而形成了如图|-2所示的计算机控制系统的组成框图从图1-2可见,计算机控制系统的组成与连续模拟控制系统组成类似,是由下述几部分构成的2·计算机控制系统——理论、设计与实现MGAD计算机DA指令信号1A/D电位计1计算机系统反馈电位计图1-2天线位置计算机控制系统1.被控对象:本例为雷达天线2.执行机构:木例为直流电机叫路3.测量装置:本例为测量电位计;4.指令给定装置∴木例为天线指令发生器(指令信号电位计);5.计算机系统:包括下述主要部件。ΔD变换器,将直流模拟信号转换为断续的数字二进制信号,送入计算机DA变换器,将计算机产生的数宇指令信号转换为连续模拟信号(直流电压)并送给直流电机的放大部件数字计算机(包括硬件及柑应软件),实现信号的变换处埋,按给定的算法产生相应的挖制指令。如同连续控制系统一样,讣算机控制系统亦可分为闭环控制、开环控制以及复合控制等不同的控制类型计算机控制系统主要特点和优点相对连续控制系统而言,计算机控制系统的主要特点可以归纳为以下几点系统结构特点计算机控制系统必须包括有计算机,它是一个数字式离散处理器;此外,由于多数系统的被控对象及执行部件、测量部件是连续模拟式的,因此,还必须加入信号变换装置(如ΔD炇DA变换器)。所以,计算机控制系统通常是模拟与数字部件的混合系统。若系统中各部件全为数字部件,则称为全数字式控制系统。本书主要研究混合系统。信号形式上的特点迕续系统中各氐信号均为连续模拟信号,而计算机控制系统有多种信号形式。由于计算机是串行工作的,必须按一定的采样间隔(称为采样周期)对连续信号进行采样,将其变成时间上是断续的信号才能进入计算机。所以,它除有连续模拟信号外,还冇离散模拟、离散数字、连续数字等信号形式,是一种混合信号形式系统(详细分析见第2章)系统工作方式上的特点在迕续控制系统中,控制器通常都是由不同的电路构成,并且一台控制器仅为一个控制回路服务。在计算机控制系统中,一台计算机可冋时控制多个被控量或被控对象,即可为多个控制回路服务。每个控制回路的控制方式由软件来形成。同一台计算机可以采用串行或分时并行方式实现控制。尽管由常规仪表组成的连续控制系统巳获得了广泛的应用,并具有可靠、易维护操作等优点,但随着生产的发展、技术的进步,对自动化的要求越来越晑,这种常规连续控制系统的应用受到了极大的限制。例如,难于实现多变量复杂的控制,难于实现自适应控制等等。与连续控第1章绪论·3制系统相比,计算机控制系统除∫能完成常规连续控制系统的功能外,还表珝」如下一些独特的优点。由丁计算机的运算速度快、精度高、县冇极丰富的逻辑判断功能和大容量的存储能力,因此,能实现复狝的控制规律,如最优控制、自适应控制及自学习等,从而可达到较高的控制质量。计算机控制系统的功能价格比值高。尽管一台计算机最初投资较大,但增加一个控制回路的费用却很少。对亍连续系统,模拟硬件的成木几乎和控制规律复杂程度、控制回路多少成正比;而计算机控制系统中的一台计算机却可以实现复杂控制规律并可同时控制多个控制回路,因此,它的功能价格比值较高。由于计算机控制系统的控制规律是由软件程序实现的,并且计算机其有强大的记忆和判断功能,所以,极易实蚬工作状态的转换,实现不同的控制功能,因此,它的适应性强,灵活性高。此外,计算机是一种可编程的智能元件,易丁修改系统功能和特性,构成∫一种柔性(弹性)系统。随着徵电子技术的发展,大规模集成电路的出现,计算机体积减小,重量轻、成木下降。与连续控制系统相比,计算机控制系统也有一些缺氐与不足。例如,抗干扰能力较低,特别是由于系统中插入数字部件,信号复杂,给设计实现带来一定困难。但全面比较起来,随着对自动控制系统功能要求的不断提高,计算机控制系统的优越性表现得越来越突出。现代的控制系统不管是筲单的,还是复杂的,几乎都是采用计算机进行控制的。12计算机控制系统典型应用分类根据应用特点及控制目的和系统构成的不同,计算机控制系统在工业中的典型应用大致可分为下述几类。21数据采集处理系统数据采集处理系统结构如图Ⅰˉ3所示。严格说,这种系统不属于计算机控制,计算机并不直接参与控制。这种系统的主要作用是信号测试模拟量输入显示被控对象计算打印机数字量输入告警图1-3数据采集处理系统结构生产过程的集中监视计算机对生产过程(被监视对象)的不同变量参数进行巡回检测,并将采集到的数据以一定格式在监视器上显示或通过打印机打印出来,实现对生产过程的4·计算机控制系统——理论、设计与实现集中监视操作指导计算机对采集到的数据进行分析处理,并给出对生产过程控制的建议,由过程的操纵者依给定的建议实现对过程的控制122直接数字控制系统(DDC系统)直接数字控制系统结构如图Ⅰ-4所示。计算杋通过输入通道进行实时数捃采集,并按已给定的控制规律进行实吋决策,产生控制指令,通过输岀通道,对生产过程(被控对象)实直接控制。这种控制方式是应用最普遍的一种方式。由于这种系统中的计算机直接参与生产过桯的控制,所以,要求实时性好、可靠性高和环境适应性强。本书主要硏究这种系统的设计与实现问题。信号测试}模拟、数字量输入显示被控对象打印机执行部件模拟、数字量输出操纵台图1-4直接数字控制系统结构123监督计算机控制系统(SCC系统)监督计算杋控制系统结构如图1-5所示。该系统是2级计算柷控制。其中直接数字控制完成生产过程的直接控制;而监督计算机则根据生产过程工况和已知的数学模型,进行优化分析,产生最优设定值,作为直接数字控制的指令信号,由直接数字控制系统执行。监督计算机由亍承担上一级控制与管理任务,要求其数据处理功能强,存储容量大等控制DDdSCC工业数据被控对象测量计算机系统计算机系统品示打印状态信息记录图1-5监督计算机控制系统结构124分散型计算机控制系统(DCS)随着工业生产过程规模的扩大和综合管理与控制要求的提高,人们开始应用以多台计算机为基础的分散型控制系统,如图1-6所示。该系统采用分散控制原理、集中操作、分级管理与控制和综合协调的设计原则,把系统从上而下分成生产管理级、控制管理级和过程控制级等,形成分布式控制。各级之间通过数据传输总线及网终相互连接起来。系统中的过程控制级完成过程的检测任务。控制管理级通过协调过程控制器工作,实现生产过程的动态优化。
- 2021-05-06下载
- 积分：1
