PID控制超详细教程(含软硬件上位机，很好）
PID控制超详细教程(含软硬件上位机，很好）SUNPLUS调节控制做电机速度控制月录页模拟控制模拟控制原理数字控制位置式算法增量式算法控制器参数整定凑试法临界比例法经验法采样周期的选择参数调整规则的探索自校正控制器软件说明软件说明档案构成界面子程序说明程序范例程序程序流程与说明中断子流稈与说明使用资源硬件使用资源说明实验测试响应曲线参考文献SUNPLUS调节控制做电机速度控制修订记录日期版本编写及修订者编写及修订说明初版错误校正SUNPLUS调节控制做电机速度控制模拟控制将偏差的比例()、积分()和微分()通过线性组合构成控制量用这一控制量对被控对象进行控制,这样的控制器称控制器、模拟控制原理在模拟控制系统中,控制器最常用的控制规律是控制。为了说明控制器的工作原理,先看个例子。如图—所示是一个小功率直流电机的调速原理图。给定速度与实际转速进行比较,其差值,经过控制器调整后输出电压控制信号经过功率放大后,驱动直流电动机改变其转速。+控器直流电机图小功率直流电机调速系统常规的模拟控制系统原理框图如图—所示。该系统由模拟控制器和被控对象组成。图中是给定值是系统的实际输岀值,给定值与实际输出值构成控制偏差式-)作为控制的输入,作为控制器的输出和被控对象的输入。所以模拟控制器的控制规律为式其中:控制器的比例系数搾制器的积分时间,也称积分系数控訇器的微分时间,也称微分系数比例积分被控对象微分图—模拟控制系统原理图比例部分SUNPLUS调节控制做电机速度控制比例部分的数学式表示是:在模拟控制器中,比例环节的作用是对偏差瞬闩作岀反应。偏差一旦产生控制器立即产生控制作用,使控制量向减少偏差的方冋变化。控制作用的强弱取决于比例系数,比例系数越大,控制作用越强,则过渡过程越快,控制过程的静态偏差也就越小;但是越大,也越容易产生振荡,破坏系统的稳定性。故而,比例系数选择必须恰当,才能过渡时间少,静差小而又稳定的效果。、积分部分积分部分的数学式表小是从积分部分的数学表达式可以知道,只要存在偏差,则它的控制作用就不断的增加;只有在偏差时,它的积分才能是一个常数,控制作用才是一个不会增加的常数。可见,积分部分可以消除系统的偏差积分环节的调节作用虽然会消除静态误差,但也会降低系统的响应速度,增加系统的超调量。积分常数越大,积分的积累作用越弱,这时系统在过渡时不会产生振荡;但是增大积分常数会诚慢静态误差的消除过程,消除偏差所需的时间也较长,但可以减少超调量,提髙系统的稳定性.当较小时,则积分的作用较强,这时系统过渡时间中有可能产生振荡,不过消陰偏差所需的时间较短。所以必须根据实际控制的只体要求来确定。、微分部分微分部分的数学式表示是实际的控制系统除了希望消除静态误差外,还要求加快调节过程。在偏差岀现的瞬间,或在偏差变化的瞬间,不但要对偏差量做岀立即响应(比例环节的作用),而∏要根据偏差的变化趋势预先给岀适当的纠正。为了实现这一作用,可在控制器的基础上加入微分环节,形成控制器。微分环节的作用使阻止偏差的变化。它是根据偏差的变化趋势(变化速度)进行控制。偏差变化的越快,微分控制器的输出就越大,并能在偏差值变大之前进行修正。微分作用的引入,将有助于减小超调量,克服振荡,使系统趋于穩定,特別对髙阶系统非常有利,它加快了系统的跟踪速度但微分的作用对输入信号的噪声很敏感,对那些噪声较人的系统一般不用微分,或在微分起作用之前先对输入信号进行滤波。微分部分的作用由微分时间常薮决定。越大时,则它抑制偏差变化的作用越强棫小时,则它反抗偏差变化的作用越弱。微分部分显然对系统稳定有很大的作用。适当地选择微分常数,可以使微分作用达到最优由于计算机的出现,讣算机进入了控制领或。人们将模拟控制规律引入到计算机中来。对(式—)的控制规律进行适当的变換,就可以用软件实现控制,即数字搾制。SUNPLUS调节控制做电机速度控制数字控制数字式控制算法可以分为位置式和增量式控制算法。位置式算法由于计算杋控制是一种采样控制,它只能根据样时矧的偏差计算控制量,而不能像模拟控制那样连续输岀控制量量,进行连续控制。由于这·特点(式)中的积分项和黴分项不能直接使用,必须进行离散化处理。离散化处理的方法为:以作为采样周期,作为采样序号,则离散采样时间对应着连续时间,用矩形法数值积分近似代替积分,用一阶后向差分近似代膂微分,可作如下近似变换:≈1T〔k=0,1,2.e()h(门-Tag(),()-以(k-1)7]8-1di(式上式中,为了衣示的方便,将类似于简化成等。将(式-)代入(式一),就可以得到离散的表达式为(式一)或+(式其米样序号,一,,第次釆样时刻的计算机输出值:第次采样时刻输入的偏差值第—次采样时刻输入的偏差值:积分系数,微分系数,如果采样周期足够小,则〔式—)或(式—)的近似计算可以获得足够精确的结果,离散控制过程与连续过程十分接近。(式—)或(式一)表示的控制算法式直接按(式一)所给出的控制规律定义进行计算的,所以它给出了全部控制量的大小,因此被称为全量式或位置式控制算法这种算法的缺点是:由于全量输出,所以每次输出均与过去状态有关,计算时要对进行累加,SUNPLUS调节控制做电机速度控制工作量人;并且,因为计算杋输岀的对应的是执行机构的实际位置,如果计算机岀现故障,输岀的将大幅度变化,会引起执行机构的大幅度变化,有可能因此造成严重的生产事枚,这在实生产际中是不允许的。増量式探制算法可以避免着重现象发生。增量式算法所谓增量式是指数宇控制器的输岀只是控制量的增量Δ。当执行机构需要的控制量是增量,而不是位置量的绝对数佶时,可以使用增量式控制算法进行控制。增量式控制算法可以通过(式一)推导出。由(式一)可以得到控制器的第个采样时刻的输出值为+∑+式将(式一)与(式一)相减并整理,就可以得到增量式控制算法公式为△(式其中由(式—)可以看出,如果计算机控制系统采用恒定的采样周期日确定只要使用前后三次测量的偏差值,就可以由(式—)求出控制量。增量式控制算法与位置式算法(式一)相比,计算量小的多,因此在实际中得到广泛的应用而位置式搾制算法也可以通过增量式控制算法推岀递推计算公式:△式(式—)就是目前在计算机控制中广泛应用的数字递推控制算法控制器参数整定搾制器参数整定:指决定调节器的比例系数、积分时间、微分时间和采样周期的SUNPLUS调节控制做电机速度控制具体数值。整定的实质是通过改变调节器的参数,使其特性和过程特性相匹配,以改善系统的动态和静态指标,取得最佳的控制效果。整定调节器参数的方法很多,归纳起来可分为两大类,即理论计算整定法和工程整定法。理论计算整定法有对数频率特性法和根轨迹法等;工程整定法冇凑试法、临界比例法、经验法、衰减曲线法和响应曲线法等。工程整定法特点不需要事先知道过程的数学模型,直接在过程控制系统中进行现场整定方法简单、计算简便、易于掌握凑试法按照先比例()、再积分()、最后微分()的顺序。置调节器积分时间∞,微分时间在比例系数按经验设置的初值条件下,将系统投入运行,由小到大整定比例系数求得满意的衰减度过渡过程曲线引入积分作用(此时应将上述比例系数设置为)。将由大到小进行整定若需引入微分作用时,则将按经验值或按(~)设置,并由小到人加入临界比例法在闭坯控制系统甲,将调节器置纯比例作用卜,从小到大逐渐改变调节器的比例系教,得到竿幅振荡的过渡过程。此时的比例系数称为临界比例系数相邻两个波峰间的时间间隔,称为临界振荡周期二界比例度法步骤:将调节器的积分时间置于最大(∞),微分时间置零),比例系数适当,平衡操作一段时问,把系统投入自动运行、将比例系数逐渐增大,得到等幅振荡过程,记卜临界比例系数和临界振蕩周期值根据和值,采用经验公式,计算出调节器各个参数,即、和的值。按先再最后的操作程序将调节器整定参数调到计算值上。若还不够满意,可再作进步调整。临界比例度法整定注意事项:有的过程控制系统,临界比例系数很大,使系统接近两式控制,调节阀不是全关就是全开,对工业生产不利有的过程控制系统,当调节器比例系数调到最大刻度值时,系统仍不产生等幅振荡,对此,就把最大刻度的比例度作为临界比例度进行调节器参数整定经验法用凑试汯确定参数需要经过多次反复的实验,为了减少凑试次数,提高工作效率,可以借鉴他人的经验,并根据‘定的要求,事先作少量的实验,以得到若「基准参数,然后按照经验公式用这些基准参数导出控制参数,这就是经验法。临界比例法就是一种经验法。这种方法首先将控制器选为纯比例控制器,并形成闭环,改变比例系数,使系统对阶跃输入的响应达到临界状态,这时记下比例系数、临界振荡周期为,根SUNPLUS调节控制做电机速度控制据一提供的经验公式,就可以由这两个基准参数得到不同类型控制器的参数,如表一所示。衣—临界比例法确定的模拟控制器参数控制器类型这种临界比例汯使针对模拟ˆ控制器,对于数字控制器,只要釆样周期取的较小,原则上也同样使用。在电动机的控制中,可以先采用临界比例法,然后在采用临界比例法求得结果的基础上,用凑试法进一步完善表一的控制参数,实际上是按衰减度为时得到的。通常认为的衰减度能兼顾到稳定性和快速性。如果要求更大的衰减,则必须用凑试法对参数作进一步的调整。采样周期的选择香农()采样定律:为不失真地复现信号的变化,采样频率至少应大于或等于连续信号最高频率分量的二倍。根据采样定律可以确定采样周期的上限值。实际采样周期的选择还要受到多方面因素的影响,不同的系统采样周期应根据具体情况米选择。采样周期的选择,通常按照过程特性与丨扰大小适当来选取采样周期:郾对于响应快、(如流量、压力)波动大、易受干扰的过程,应选取较短的采样周期:反之,当过程响应慢(如温度、成价)、滞后人时,可选取较长的采样周期采样周期的选取应与参数的整定进行综合考虑,采样周期应远小于过程的扰动信号的周期,在执行器的响应速度比较慢时,过小的采样周期将失去意义,因此可适当选大ˉ点;在计算机运算速度允许的条件下,采样周期短,则控制品质好;当过程的纯滞后时间较长时,一般选取采样周期为纯滞后时间的参数调整规则的探索人们通过对控制理论的认识和长期人工操作经验的总结,可知参数应依据以卜儿点来适应系统的动态过程。在偏差比较大时,为使尽快消除偏差,提高响应速度,冋时为了避免系统响应岀现超调,取大值,取零;在偏差比较小时,为继续减小偏差,并防止超调过大、产生振荡、稳定性变坏,值要减小,取小值;在偏差很小时,为消除静差,克服超调,使系统尽快稳定,值继续减小,值不变或稍取大。当偏差与偏差变化率同号时,被控量是朝偏离既定值方向变化。因此,当被控量接近定值时,反号的比列作用阻碍积分作用,避免积分超调及随之而来的振荡,有利于控制;而当被控量远未接近各定值并向定值变化时,则由于这两项反向,将会减慢控制过程。在偏差比较大时,偏差变化率与偏差异号时,值取零或负值,以加快控制的动态过程。偏差变化率的大小表明偏差变化的速率,越大,取值越小,取值越大,反之亦然。同时,要结合偏差大小来考虑
- 2020-12-06下载
- 积分：1
阿里云-飞天开放平台技术白皮书.pdf
阿里云计算为中国第一大公有云平台，云计算产品服务完全基于自主知识产权，先后获 85 项国家技术专利,获得国家发改委的云计算专项资金支持。阿里云飞天开放平台是在数据中心的大规模 Linux 集群之上构建的一套综合性的软硬件系统，将数以千计的服务器联成一台“超级计算机”，并且将这台超级计算机的存储资源和计算资源，以公共服务的方式，输送给互联网上的用户或者应用系统。阿里云致力于打造云计算的基础服务平台，注重为中小企业提供大规模、低成本的云计算服务。阿里云的目标是通过构建飞天这个支持多种不同业务类型的公有云计算平台，帮助中小企业在云服务上建立自己的网站和处理自己的业务流阿里云allyn. com打造数据分享第一平台飞天开放平台技术白皮书1.概述阿里云计算为中国第一大公有云平台,云计算产品服务完全基于自主知识产权,先后获85项国家技术专利,获得国家发改委的云计算专项资金支持。阿里云飞天开放平台是在数据中心的大规模 Linux集群之上构建的一套综合性的软硬件系统,将数以千讣的服务器联成一台“超级讣算机”,并且将这台超级计算机的存储资源和计算瓷源,以公共服务的方式,输送给互联网上的用户或者应川系统阿里云致力于打造云计算的基础服务平台,注重为中小企业提供大规模、低成本的云计算服务。阿里云的目标是通过构建飞天这个支持多种不同业务类型的公有云计算平台,帮助中小企业在云服务上建立自己的网站和处理自己的业务流程,帮助开发者向云端开发模式转变,用方便、低廉的方式让互联网服务全面融入人们的生活,将网络经济模式带入移动互联网,构建出以云计算为基础的全新互联网生态链。在此基础上,实现阿里云成为互联网数据分享第一平台的目标。2.体系架构如图2.1所示是飞天的体系架构图。整个飞天平台包括飞天内核(图2中黄色组件)和飞天开放服务(图2.1中蓝色组件)两大组成部分。飞天内核为上层的飞天开放服务提供存储、计算和调度等方面的底层支持,对应于图2.1中的协调服务、远程过程调用、安全管理、资源管理、分布式文件系统、任务调度、集群部署和集群监控模块飞天开放服务为用户应用程序提供了存储和计算两方面的接口和服务,包括弹性计算服务( Elastic Compute service,简称ECS)、开放存储服务(OpenStorage service,简称0SS)、开放结构化数据服务( Open table service,简称0TS)、关系型数据库服务( Relational database service,简称RDS)和开放数据处理服务( pen Data processing Service,简称ODPS),并基于弹性讣算服务提供了云服务引擎( Aliyun cloud engine,简称ACE)作为第三方应用阿里云allyn. com打造数据分享第一平台开发和Web应用运行和托管的平台。服务引擎ACE弹性计算关系型数开放存储开放构化开放数据据库服务数括服务处理服务RDSODPS分布式立科系统(盡白)任务调度(伏〕远程过程调用【夸父安全管理钟馗)分布协同服(女赐(伏)Linux集群数据飞天平台飞天内核飞大内核包含的模块可以分为以下儿部分:分布式系统底层服务:提供分布式环境下所需要的协调服务、远程过程调用、安全管理和资源管理的服务。这些底层服务为上层的分布式文件系统、任务调度等模块提供支持。分布式文件系统:提供一个海量的、可靠的、可扩展的数据存储服务,将集群中各个节点的存储能力聚集起来,并能够自动屏蔽软硬件故障,为用户提供不问断的数据访问服务。支持增量扩容和数据的自动平衡,提供类似于P0sSIX的用户空间文件访问API,攴持随机读写和追加写的操作仼务调度:为集群系统中的任务提供调度服务,同时支持强调响应速虔的在线服务( Online service)和强调处理数据吞吐量的离线任务( BalchProcessing job)。自动检测系统中故障和热点,通过错误重试、针对长尾作业并发备份作业等方式,保证作业稳定可靠地完成。集群监控和部署:对集群的状态和上层应川服务的运行状态和性能指标进行监控,对异常事件产生警报和记录;为运维人员提供整个飞天平台以及上层应用的部署和配置管理,支持在线集群扩容、缩容和应用服务的在线升级。阿里云allyn. com打造数据分享第一平台3.分布式系统底层服务31.协调服务(女娲)女妫(Nuwa)系统为飞天提供高可用的协调服务( Coordination service),是构建各类分布式应用的核心服务,它的作用是采用类似文件系统的树形命名空来让分布式进程互相协同工作。例如,当集群变更导致特定的服务被迫改变物理运行位置时,如服务器或者网终故障、配置调整或者扩容时,借助女可以使其他程序快速定位到该服务新的接入点,从而保证了整个平台的高可靠性和髙可用性。女娲基于类 Paxos协议[15],由多个女娲 Server以类似文件系统的树形结构存储数据,提供高可用、高并发用户请求的处理能力。女娲的目录表小一个包含文件的集合。与Unix中的文件路径一样,女娲中路径是以“/”分割的,根目录( Root entry)的名字是“/”,所有目录的名字都是以“/”结尾的。与Unix文件路径不一样之处在于:女娲中所有文件或日录都必须使用从根目录开始的绝对路径。由于女娲系统的设计目的是提供协调服务,而不是存储大量数据的,所以每个文件的内容( Value)的大小被限制在IMB以内。在女娲系统中,每个文件或目录都保存有创建者的信息。一旦某个路径被用户创建,其他用户就可以访问和修改这个路径的值(即文件内容或目录包含的文件名)。女娲攴持 Publish/ Subscribe模式,其中一个发布者、多个订阅者(OnePublisher/ Many Subscriber)的模式提供了基本的订阅功能:另外,还可用通过多个发布者、多个订阅者( Many Publisher/ Many Subscriber)的方式提供分布式选举( Distributed election)和分布式锁的功能。再举一个使用女娲来实现负载均衡的例子:提供某一服务的多个节点,在服务启动的时候在女娲系统的同一日录下创建文件,例如, server1创建文件nuwa:// cluster/ myservice/ server1”, server2在同一目录下创建“nuwa:// cluster/ myservice/ server2”。当客户端使用远程过程调用的时候」首先列举女娲服务中“nuwa:// cluster/ myservice”目录下的文件,这样就可以荻得 server1和 server2,客户端随后可以从中选择一个节点发出自己的请求阿里云allyn. com打造数据分享第一平台从而实现负载均衡。32.远程过程调用(夸父)在分布式系统中,不同计算机之间只能通过消息交换的方式进行通信。显式的消息通信必须通过 Socket接口编程,而远程过程调用( Remote procedureCall,简称RPC[9])可以隐藏显式的消息交换,使得程序员可以像调用本地函数一样来调用远程的服务夸父( Kuafu)是飞天内核中负责网络通信的模块,它提供了一个RPC的接,简化编写基于网络的分布式应用。夸父的设计目标是提供高可用(7x24小时)、大吞吐量( Gigabyte)、高效率、易用(简明APⅠ、多种协议和编程接口)的RPC服务。RPC客户端( RPC CLient)通过URI指定请求需要发送的RPC服务端( RPC Server)的地址,目前夸父支持两种协议形式。TCP:例如,tep:// fooserver01:9000●Ⅶuwa:例如,nuwa:/nuwa01/ Fooserver与用流( stream)传输的TCP通信相比,夸父通信是以消息( Message)为单位的,支持多种类型的消息对象,包括标准字符串std:: string和基于td:map实现的若干 string键值对。夸父RPC同时攴持异步( asynchronous)和同步( synchronous)的远程过程调用形式。异步调用:RPC函数调用吋不等接收到结果就会立即返回;用户必须通过显式调用接收函数取得请求结果。●同步调用:RPC函数调用时会等待,直到接收到结果才返回。在实现中,同步调用是通过封装异步调用来实现的。在夸父的实现中,客户端程序通过 Unix domain socket与本机上的一个夸父代理( Kuafu proxy)连接,不同计算机之间的夸父代理会建立一个TCP连接这样做的好处是可以更高效地使用网络带宽,系统可以支持上千台计算机之间的互联需求。此外,夸父利用女娲来实现负载均衡;对大块数据的传输做了优化与TCP类似,夸父代理之问还实现了发送端和接收端的流控( Flow Coηtrol)机制阿里云allyn. com打造数据分享第一平台33.安全管理(钟馗)钟馗( Zhongkui)是飞天内核中负责安全管理的模块,它提供了以用户为单位的身份认证和授权,以及对集群数据资源和服务进行的访问控制。用户的身份认证( Authentication)是于密钥机制的。用户对资源的访问控制是基于权能( Capability)机制进行授权( Authorization)的Capability是用于访问控制的一种数据结构,它定义∫对一个或多个指定的资源(如目录、文件、表等)所具有的访问权限。用户访问飞天系统的资源时必须持有 Capability,否则即视为非法。打个比方,如果把 Capability理解为地铁票,乘坐地铁(对地铁的一种访问方式)的时候必须要有 Capability,即地铁票。密钥对是基于公开密钥方法的,包括一个私钥和相对应的公钥。在飞天系统中,密钥对用于数字签名服务,以保证 Capability的不可伪造。换句话说,私钥用于生数字签名(如签发 Capability),公钥用于验证数字签名的有效性(如验证签发过的 Capability的有效性)考虑到网络通信时任何通信节点都是不可信的,所以即使是飞大自身模块内部之间的通信也同样是需要认证和授权的,而且验证的机制也完全一样。34.分布式文件系统(盘古)盘古( Pangu)是一个分布式文件系统,盘古的设计目标是将大量通用机器的存储资源聚合在一起,为用户提供大规模、高可靠、高可用、高吞吐量和冋扩展的存储服务,是飞天内核中的一个重要组成部分。大规模:能够支持数十PB量级的存储大小(1PB-1000T3),总文件数量达到亿量级。数据高可靠性:保证数捃和元数据( Metadata)是持久保存并能够正确访问的,保证所有数据存储在处于不同机架的多个节点上面(通常设置为3)。即使集群中的部分节点岀现硬件和软件故障,系统能够检测到故障并自动进行数据的备份和迁移,保证数据的纹全存在5阿里云allyn. com打造数据分享第一平台服务高可用性:保证用户能够不中断地访问数据,降低系统的不可服务时间。即使岀现软硬件的故障、异常和系统升级等情况,服务仍可正常访问。髙昋吐量:运行时系统Ⅰ/0吞吐量能够随机器规模线性增长,保证响应时间高可扩展性:保证系统的容量能够通过增加机器的方式得到白动扩展,卜线札器存储的数据能够自动迁移到新加入的节点上同时,盘古也能很好地支持在线应用的低延时需求。在盘古系统中,文件系统的元数据存储在多个主服务器( Master)上,文件内容存储在人量的块服务器( Chunk server)上。客户端程序在使用盘古系统时,首先从主服务器获取元数据信息(包括接下来与哪些块服务器交互),然后在块服务器上直接进行数据操作。由于元数据信息很小,大量的数据交互是客户端直接与块服务器进行的,因此盘占采用少量的主服务器来管理元数据,并使用 Paxos协议[15]保证元数据的致性。此外,块大小被设置为64MB,进一步减少了元数据的大小,因此可以将元数据全部放到内存里,从而使得主服务器能够处理大量的并发请求块服务器负责存储大小为64B的数据块。在向文件写入数据之前,客户端将建立到3个块服务器的连接,客户向主副本( Replica)写入数据以后,由主副本负责向其他副本发送数据。与直接由客户端向三个副本写入数据相比,这样可以减少客户端的网终带宽使用。块副本在放置的时候,为保证数据可用性和最大化地使用网络带宽,会将副本放置在不同机架上,并优先考虑磁盘利用率低的杋器。当硬件故障或数据不可用造成数据块的副本数目达不到3份的时候,数据块会被重新复制。为保证数据的完整性,每块数据在写入时会同时计算一个校验值,与数据同时写入磁盘。当读取数据块的时候,块服务器会再次计算恔验值与之前存入的值是否相同,如果不同就说明数据出现了错误,需要从其他副木重新读取数据。在线应用对盘古提出了与离线应用不同的挑战:OSS、OTS要求低吋延数据读写,ECS在要求低吋延的同吋还需要具备随机写的能力。针对这些需求,盘古实现了事务日志文件和随机访问文件,用以支撑在线应用。其中,日志文件通过阿里云allyn. com打造数据分享第一平台多种方法对时延进行了优化,包括设置更高的优先级、由客户端直接写多份拷贝而不是用传统的流水线方式、写入成功,不经过 Master确认等。随机访问文件则允许用户随机读写,同时也应用了类似日志文件的时延优化技术。35.资源管理和任务调度(伏羲)伏羲(Fuxi)是飞天内核中负责资源管理和任务调度的模块,同时也为应用开发提供了一套编程基础框架。伏羲同时支持强调响应速度的在线服务和强调处理数据吞吐量的离线任务。在伏羲中,这两类应用分别简称为 Service和Job在资源管理方面,伏羲主要负责调度和分配集群的存储、计算等资源给上层应用;管理运行在集群节点上任务的生命周期;在多用户运行环境中,支持讣算额度、访问控制、作业优先级和资源抢占,达到在保障公平的前提下,有效地共享集群资源。在任务调度方面,伏羲囿向海量数据处理和大规模计算类型的复杂应用,提供了一个数据驱动的多级流水线并行计算框架,在表述能力上兼容MapReduce l12」、Map- Reduce-erge等多种编程模式;自动检测故障和系统热点,重试失败任务,保证作业稳定可靠运行完成;具有高可扩展性,能够根据数据分布优化网终开销。伏羲中应用了“ Master/ Worker”工作模型。其中, Master负责进行资源中请和调度、为 Worker创建工作计划(Plan)并监控 Worker的生命周期, Worker负责执行具体的工作计划并及时向 Master汇报工作状态( Status)。此外, Master支持多级模式,即一个 Master可以隶属于另外一个 Master之下伏羲 Master负责整个集样资源管理和调度,处理Job/ Service启动、停止Failover等生命周期的维护。同时伏羲 Master支持多用户额度配冒、Job/ Service的多优先级设置和动态资源抢占逻辑,可以说是飞天的“大脑”伏羲对资源调度是多维度的,可以根据CPU、内存等系统资源,以及应用自定义的虚拟资源对整个机群进行资源分配和调度土伯(Tubo)是部署在每台由伏羲管理的机器上的后台进程,负责收集并向伏羲 Master报告本机的状态,包括系统资源的消耗、 Master或 Worker进程的运行、等待、完成和失败事件,并根据伏羲 Master或者Job/ Service master阿里云allyn. com打造数据分享第一平台的指令,启动或杀死指定的 Master或 Worker进程。同时土伯还负责对计算机健康状况进行监控,对异常 Worker(比如内存超用)进行及时的清理和汇报对于在线服务( Service),由伏羲 Master负责 Service master的启动与状态监控,处理相应 Service master的资源申请请求。 Service master负责管理Service Worker的任务分配、生命周期管理以及 Failover的管理。对于离线任务(Job),伏羲 Master负责 Job Master的启动与状态监控,处理相应 Job master的资源申请凊求。 Job master根据用户输入的Job描述文件,将仼务分解成一个或以上的Task,每个Task的资源申请、 Task Worker的调度和生命周期维护由 Task master负责3.5.1.在线服务调度在飞天内核中,每个 Service都有一个 Service master和多个不同角色(Role)的 Service worker,它们一起协同工作来完成整个服务的功能。 ServiceMaster是伏羲 Master管理下的子 Master( Child master),它负责这个 Service相关的资源申请、状态维扩以及故障恢复,并定期与伏羲 Master进行交互,确保整个 Service正确、正常地运行。每个 Service Worker的角色和执行的动作,都是由用户来定义的每个 Service Worker负责处理一个到多个数据分片( Partition),同一时刻一个分片只会被分型到一个 Service Worker处理。将数据分割成为互不相关的分片,然后将不同分片给不同 Service worker来处理是构建大规模应川服务的关键特性。数据分片是一个抽象的概念,在不同的应川中有不同的含义。在服务运行的过程中,每个 Seryice的数据分片的数和内容都是可以动态变化的,应用程序可以根据实际需要对数据分片动态地进行加载(Load)、卸载( Unload)、分裂( Split)和迁移( Migrate)等操作。3.5.2.离线任务调度在飞天中,一个离线任务(Job)的执行过程被抽象为一个有向无环图( Directed Acyclic graph,简称DAG):图上每个顶点对应一个Task,每条边对应一个 Pipeline。个连接的两个Task的 Pipeline表示前个Task的输出
- 2021-05-07下载
- 积分：1
