心率检测系统的设计论文
心率检测系统的设计论文，ti杯电子设计大赛优秀论文右手接至低通前置放大电路滤波器输左手入端共模电压右腿驱动屏蔽动右腿退导联屏蔽线图2前置放人电路框图1)前賢放大调理针对心电信号高增益,高输入阻抗,高垬模抑訇比,低噪声,低漂移和合适带宽的采集要求,采用仪表放大器,以获得良好的综合性能。所以采用仪用放大器AD620只要用只外接电阻便可设置放大器的增益,增益G为494人R2)右腿驱动电路将右腿连接到一个辅助的运算放大器的输出端,把混杂于原始心电信号中的共模噪声提取出来,经过一级倒相放大后,再返回到人体,使它们相互叠加,从而减小人体共模干扰的绝对值,提高信噪比。本电路采用高精度运算放大器O217。通过这个负反馈结构,可大大抑制测量过程屮前置敚大器输入端共模电压的影响。此外,右腿驱动电路还可以提供电气上的安全性。3)屏蔽驱动电路屏蔽驱动器是一个同相电压跟随器,将放大器的输出端和屏蔽相连,将屏蔽线和地隔开,并且对于50Ⅳz的共模干扰信号来说,从人体输入的两路信号是相等的导联线和屏蔽线之间的电压差为0,从而消除了其间的电容,提高了输入电路的阻抗,降低人与地之间的漏电流。如图3所小220kTT1点2R图3带屏蔽驱动、右腿驱动的前置放大调理电路经过前置放大器后心电信号被放大的倍数为49.4KG=1+51IK∥(24.9K+24.9K)(2)高通滤波电路的设计电极与皮肤表面之间容易产生直流偏压,为了消除这部分的干扰,需要采取高通滤波电路图4所示予以滤除,其截止频率为≈0.5Hz2丌√RR,CC22x√22X×47K×101×10U4BQPZITT图4二阶高通滤波电路(3)低通滤波电路的设计噪声来源一类是各种电子设备辐射出的高频噪声,一类是市电的50z噪声。通常情况下后者影响尤为明显。对这些噪声的滤波需要用到滤波器。低通滤波器(电路图如图5)通常情况下截止频率选择在100Hz以下。低通截止频率为2兀√RR1CC42√24K×24K×0.047×Dm≈100H2T745TQP2171图5二阶低通滤波电路(4)50Hz陷波电路的设计为了去除人体或测试系统中产生的工频50Hz干扰34,需用带阻滤波器加以抑制。我们采用心电测量没备当前普煸采用的双T陷波电路滤除工频干扰,其参数计R算公式为:2可C其中f为滤去频率,如图6所小。USD图650Hz陷波电路(5)后置放大电路及抬升电路的设计因为wsP430F169模数转换器的范围为0~2.5V,所以要对采集的心电信号进行拾升如此在实现后置放大的过程中,既要考虑信号中平的提升,又要实现信号的放大。放大器芯片用INA217。具体电路如图7所示图7后置放大发抬升电路放大倍数为:G=110K10KRIK抬升电路有对放大信号拾升了1.25V(6)电源电路的设计电源电路的设计是由电平转换器760,线性调节器MX8511,电压基准REF3025及电池盒组成,如图8所示电源电路图8电源电路31.3元件的布局和PCB板的设计在PCB板中,包含多种类型的电路,为了避免各部分电路中信号相互耦合而生千扰,对不同类型的电路部分进行分离布局是PCB板设计的一个基本原则。各部分之间不仅应保持相当距离,还要分开走线。电源系统的布线包括电源线VDD和地线vSs的布线,是系统抗干扰的个重要部分。VDD和wSS应尽可能扩大面积,以防止因电磁能量较强而产生电磁干扰能量的发射,这也是保证高频信号到地之间具有低阻抗的措施3.2软件设计软件设计的关键是对MSP430F169的控制以及LCD显示。所有软件均采用C语言绽写。软件实现的功能是QRS波检测并算出心率,LCD显小波形以及SD卡存储3.2.1软件流程系统软件部分流程图9如下所示,开关按键按下后,屏幕显示L0GO图(江苏省TⅠ杯电子设计大赛),通过对各模块的初始化后,由中断定时服务实现对心电信号QRS波检测,心率计算,波形回放。系统初始化A/D采集LCG0显示N按键显示模块初始化
- 2020-12-01下载
- 积分：1
PSCAD_EMTDC与Matlab接口
PSCAD_EMTDC与Matlab接口，用PsCAD建立接口模型．启动Matlab数据引擎调用M文件，实现接口模型的参数设置。第I了期杨使,等:FCAD/ EMTDC与Maah接口研究500∠0°kV下的样本,利用接口软件所获得的数据经过计算小500∠0°kY500∠30°kvc波能量熵后,将其随机分为2个部分,一部分为训练--50 km样本,另一部分为测试样本,这样极大减轻了工作量。100 k2764k训练样本与训练的目标向量作为神经网络输入数1μF据进行网络训练,测试样本输入训练后的网络,将输壬出与期望输出进行比较,进而得到暂态识别的结果。图9500kV输电线路模型示意图利用接口软件随机产生不同工况下的单相接地ig. 9 Model of 500 kv transmission line短路和开关操作数据共1000组采用3层BP神经型,本文模型的采样频率为40kHz线路模型采用网络对2种暂态信号进行分类,取用其中的200组频率相关模型。利用文献[2所述的小波能量熵测进行网络训练,其余800组用来测试。度来识别开关操作与单相接地故障。网络设计步骤如下识别各暂态信号,采用小波能量熵提取暂态信a,构造特征向量,直接选取各暂态信号在1~16号特征,然后将其作为神经网络的输人来进行识尺度上的小波能量熵作为特征向量;别。识别过程如图10所示。b.为了便于分析,归一化处理小波能量熵电压/电流信号「训练c设计输人层神经元共16个、隐含层神经元标向量小波变换」[训练样本P-网络训练33个输出层神经元1个;d设计网络的训练函数为 trainlm,训练误差小波时频嫡和小波L构造特测试样本训练后0001。熵权的征提取征向量「识别结果下的网络通过训练和测试,利用接口与3层BP神经网络图10暂态信号识别过程综合应用,成功地实现了暂态信号的分类,其中单相Fig 10 Process of transient signal recognition短路故障的误判率为5%,开关操作的误判率为0。人工神经网络:6的训练需要大量不同工况·表1给出了部分数据及其识别结果。表1小波能量熵神经网络识别结果举例Tab. 1 An example of wavelet energy entropy nn detection类别输人数据(归一化后)期望输出实际输出测试结果03121018660.312302709021930.22410,23080.23640%881正确开关0.24120.24580.2499025370257202604026340.2663操作0.25270.254202522025189.25190.25170251402508024650.2469024710.24800.24880.2501024880247410.9622正确0.325501410019560187502064022l8023430.2441单相025250.260102662027150.2762028040.28430287000178正确短路0387701584027200.186502023021510224402204005364错误0226902322024280253602626027130278202848注:在误差允许情况下,认为大于5为1小于.5为04接口软件运用的优点对梭型进行参数]运行程序]「得到1组短路电设置短路电阴为进行仿真阻为0时的数据通过对以上2个仿真实例的分析,对所研究的图11传统软件获取一组数据的示意图接口软件的运用有了更深入的了解。应用传统的仿Fig 11 Data group access of traditional software真软件获取数据,对于每一种工况的实验都需要对1组数据的示意图,此时短路电阻为0。如果要完成模型的参数以及仿真的条件进行重新设置,这样,做述10种不同工况的仿真就需要等待短路电阻为个大数据量的仿真实验,大部分的时间都将消耗0的仿真数据获取以后,修改模型参数,再进行实在重复的点击工作和等待上,工作效率不高;而这里验即要顺次进行图11的流程10次,才能达到最终所研究的接口软件与传统的仿真软件相比,最大的的目的。如果要获取1000组数据,那么就要顺次重优点就是可以一次获取大量不同工况下的数据,对复图1l的流程1000次,工作量之大,耗费时间之不同的工况进行伤真实验,只需要编写相应的M文长可想而知。传统仿真软件的这种缺点也迫切的需件,数据将实现自动获取极大解放了人的劳动。获要研究一种能实现数据自动获取的新型软件。取文中用于BP神经网络算法的1000组实验数据,图12是这里所研究的接口软件获取数据的示使用所研究的接口软件将带来很大的方便,下面以发意图。可知,对于单相短路故障时电阻由0~900g生单相短路故障时短路电阻分别为0、100、200、变化的仿真,只要编写相应的M文件,使电阻按照300400,500600、700、8009009的10种工况为需要变化,就可以实现数据的自动获取,在M文件例来说明应用本文接口软件的优点中,还可以设置电阻为0不变时,在不同的时刻发生图11是利用传统的仿真软件获取一种工况下故障,这样,通过设置,就可以实现仿真一次获取电力自动化设各第27卷电阻为0的数据and its application[J]. Electric Power Automation Equipment编写M文件运行程序进行仿分段电阻为10的数据2006,26(11):67-70使电阻按照真得到10种不[7]朱瑜,梁旭,闵勇,基于 PSCAD/ EMTDC的高压直流输电线路保合要变化同电阻时的数据」读出护仿真研究].现代电力2006,23(2):35-38电阻为909的数据ZHU Yu, LIANG Xu, MIN Yong Simulation of line protection of图12接口软件获取数据示意图HVDC transmission based on PSCAD/EMTDC[J ] ModernFig 12 DataElectric Power, 2006, 23(2): 35-388]张志酒.精通 Matlab65版[M].北京:北京航空航天大学出版个系统数据文件,它包含了所需要的不同工况下的杜,2003所有数据。接口软件由于要调用 Matlab的M文件[9韩笑,徐曦陈卓平.基干 Matlab与VB数据交换的继电保护仿而占用了更多的CPU时间,但由于仿真的过程中不真[J电力自动化设备,2006,26(5)92-95需要对模型参数作任何修改,编写适合的M文件HAN XiaO, XU Xi, CHEN Zhuo- ping. Protection simulation后,程序自动运行,数据文件自动存储,研究人员可based on data exchange between Matlab and VB[J].Electric利用程序运行的时间去做其他研究工作,这样就不Power Automation Equipment, 2006, 26(5): 2-95会像应用传统的仿真软件那样,把时间浪费在点击10许允之刘吴冯字等.Mulb在电力系统仿真实验中的应用[丁.实验技术与昏理,2007,24(1):103-105,125和等待上,大幅提高了研究人员的工作效率。XU Yun-zhi, U Hao, FENG Yu,ct al. The application of the5结论Matlab in the power system simulation experiments[J]. Experimental Technology and Management, 2007, 24(1): 103-105, 125.对学习与研究传统的继电保护算法以及新型的11.钟2,赵华,BCAD围MmDC程序与M言接口的研究电力智能算法而言,能方便、快捷地产生多种工况数据的ZHONG Bo, ZHAO Hua- jun. Study on PSCAD/EMTDC仿真软件是至关重要的。这里所研究的接口软件能Matlab interface[J]. Guangdong Electric Power, 2005, 18(8):1-3减少仿真时间,提高仿真效率,有助于研究者更好地12】何正友陈小勤.基于多尺度能量统计和小波能量嫡测度的电研究电力系统的规律。力暂态信号识别方法[J].中国电机工程学报,2006,26(10)这里所述的接口软件能对不同工况的故障进行仿真与分析。它能一次产生数以万计的不同工况的HE Zheng-you, CHEN Xiao-qin. A study of electric数据。此软件具有较好的解耦性:对于不同的电力system transient signala identification method based on模型以及不同的分析算法,都不需要进行大的改动,scales energy statistic and wavelet energy entropy[]. Proceedinge of the CSEE, 2006, 26(10>: 33-39甚至不必修改。[I3]李洪,王晟.基于小波包和神经网络的电力输电线故障诊断研小波能量熵与BP神经网络在暂态识别上确实究[].数据采集与处理,2004(4);16有较好的性能,但也存在误判的情况。此算法仍然L Hong, WANG Sheng. Fauit diagmosis in power transmission需要研究者的进一步分析研究。line based on wavelet packets and neural network approach[J]. Jourmal of Data Acquisition Processing, 2004(4): 1-6.参岩文献[14]杜选高明峰.人工神经网络在数字识别中的应用].计算机系统应用,2007(2):2127]吴天明,谢小竹,彭彬,等. Matlab电力系统设计与仿真!M].北京:国防工业出版社,2004[2]李广觊,李庚银.电力系统仿真软件综述电气鬼于教学学报,2005,27(3):61-65Applications, 2007(2): 21.2LI Guang-kai, LI Geng-yin. The summary of power system simu15]张亚軍,刘志刚,张大渡.一种基于多神经网络的组合负荷预lation software[J]. Journal of Electrieal Electronic Engineering测模型[J,电网技术,2006,30(21)21-25Education42005,27(3):61-65ZHANG Ya-jun, LIU Zhi-gang, ZHANG Da-bo. A combination[3]KEZUNOVIC M, CHEM Q Novel approach for interactive protectionload forecasting model based on multinetworks[JIsystem simulation [J]. IEEE Trans on Power Delivery, 1997Power System Technology, 2006, 30( 21>: 21-2512(2):668674矗任编辑:李玲)[4] ZHANG Nan, KEZUNOVIC M. Implementing an advanced simulalion tool for comprehensive fault analysia[J]. IEEE on Trans作者简介mission and distribution conference and exhibition .2055.15杨健牟(1983-),女,辽宁凌源人,硕士研究生,主要研究(18):1-6.方向为电力系统继电保护(E·mai: yangjlanwei0910@163[5]林良真,叶林,电磁暂态分析软件包 PSCAD/EMTDC[J.电网技术,200,24(1):65-65麦瑞坤(1980-),男,广东东莞人,博士研究生,主要研究LiN Lipng-zhen, YE Lin. An introduction to PSCAD/EMTDCEJIPower System Technology, 2000,24(1):65-66领战为电力系統故障诊断中信号处理和信息理论的应用、新6]肖异,尹项根,张哲等 PSCAD/EMTDC程序与继电保护仿真模型线路保护理接口技术及应用[J].电力自动化设备,2006,26(11):67-70何正友(1970-),男,四川自貢人,教授,博士研究生导师XAOY, YIN Xiang-g=n, ZHANG Zhe et al. Interface technique主要从事馆号处理和信息理论在电力系統故障诊嘶中的应between PSCAD/ EMTDC and relay protection simulation model用、新型继电保护原理、配电网自动化等方向的研究工作。第27卷第11期电力动化设备Vol27 No 112007年11月Electric Power Automation EyuipmentNy.2007种新的适合分布安装的消弧线圈唐轶,陈庆(中国矿业大学信电学院,江苏徐州221008)摘要;可自恢复性单相接地故障点的电弧是否能自然熜灭的决定因素是接地故障残流的大小。以降低单相接地故障点的残流为出发点,从理论上分析了谐振接地系统残流产生的原因:消弧线自动跟踪补偿只能有效地降低零序回路的无功电流,不能降低零序回路的有功电流。通过仿真计算得出结论:消弧线圈分布安装是降低谐振接地系统接地故障点残流有功分量的有效方法。针对我因6kⅤ和10k中压配电网一般均为Δ接线,无辅助中性点供消孤线图接入的特点,设计了一种新颖的消弧线图。该消弧线图为三相五柱电抗器结构,通过调节两边柱的气隙大小改变补偿电流的大小,结枘简单,适合于分布安装。实验室试验证明其补偿电感线性度好、补偿效果好。关键词:消弧线團;单相接地故障;中性点接地中图分类号;TM55文献标识码:A文章编号:1006-6047(2007)11-0087-04地故障电弧自行熄灭、故障自恢复为原则的。因此0引言消弧线圈的安装、运行应该以使接地故障点的残流配电网故障的80%左右为单相接地故障1。尽量小为目标。单相接地故障中的绝大多数为可自恢复的故障,尤不管是城市电网还是农村电网,用电负荷都在急其是自然条件差(台风、雷电频繁)的架空线电网需剧增加,电网的结构及规樸在不断扩大;城镇电网的要分断电路处理的永久性单相接地故障更是极少改造中,电缆网络正在逐渐取代架空线路;过去采用数。因此,从提高供电可靠性考虑,我国中压配电单电源的辐射式供电或树状供电方式,已不能满足用网绝大多数采用小电流接地方式。小电流接地电网电负荷增长的要求,而需要采用网孔形或环形等供电中,单相接地故障相当大一部分为可自恢复的故障。方式;这些因素都使其单相接地故障电流急剧增加可自恢复性单相接地故障点的电弧是否能自然熄灭单体大容量自动跟踪补偿消孤线圈被局。当的决定因素是接地故座残流的大小:残流小,有利于消弧线图的单体容量不能满足补偿电网接地电流的电弧过零时媳灭;残流小,电弧对介质绝缘的破坏程要求时在同一电网安装2台或多台自动跟踪补偿度低有利于故障点绝缘介质的恢复使电弧不易重弧线圈的也有之。实际上,消弧线圈只能减少接燃:残流小,也有利于降低故障相恢复电压的初始速地故障电流的无功分量,即脱谐度只是单相接地残度,使电弧不易重燃。小电流接地方式是以单相接流中无功分量大小的决定因素。即使采用自动跟踪补偿的方法来实现理想调谐,使接地电流中的无功收稿日期:2006-11-16;修回日期:2007-03-30分量几乎为零后,零序回路的有功损耗电流仍然不Interface between PSCAD/EMTDC and MatlabYANG Jian-wei, MAI Rui-kun, HE Zheng-youof elng, Southwest Jiaotong University, Chengdu 61003Abstract. Theen PsCad emtdc and matlaTo make ththe electromagnetic transient analysis program PSCAD/EMTDC and the math model software packageMatlab, the interface model is built using PSCAD and its parameters are set by calling the M filesing the data engine of Matlab. Massive data under different conditions could be accessed via thisinterface once it runs. An application example of power transmission line is analyzed. Data got viathe interface are processed in segments and sent to BP neural network to detect single -phaserounding fault from switch operations. Simulation results point out that this interface softwarefacilitates the acquisition of massive dataThe project is supported by National Natural Science Foundation of Ching(50407009)and DistinguishedScholars Fund of Sichuan Province(06ZQ026-012)Key words: PSCAD/EMTDC; Matlab; BP neural networkPSCAD/ EMTDC与Mat1ab接口研究旧WANFANG DATA文献链接作者:杨健维,麦瑞坤,何正友, YANG Jian-wei, MAI Rui-kun, HE Zheng-you作者单位:西南交通大学,电气工程学院,四川,成都,610031刊名:电力自动化设备 TICEIPKU英文刊名:ELECTRIC POWER AUTOMATION EQUIPMENT年,卷(期)2007,27(11)被引用次数1次参考文献(15条1.KEZUNOVIC M; CHEM Q Novel approach for interactive protection system simulation 1997(02)2.李广凯;李庚银电力系统仿真软件综述[期刊论文]电气电子教学学报2005(03)3.吴天明;谢小竹;彭彬 Matlab电力系统设计与仿真2004.韩笑;徐曦;陈卓平基于 Matlab与ⅦB数据交换的继电保护仿真[期刊论文]电力自动化设备2006(05)5.张志涌精通 Matlab6.5版20036.朱瑜;梁旭;闵勇基于 PSCAD/ EMTDC的高压直流输电线路保护仿真研究[期刊论文]现代电力2006(02)7.张亚军;刘志刚;张大波一种基于多神经网络的组合负荷预测模型[期刊论文]电网技术2006(21)8.杜选;高明峰人工神经网络在数字识别中的应用[期刊论文]计算机系统应用2007(02)9.李洪;王晟基于小波包和神经网络的电力输电线故障诊断硏究[期刊论文]数据采集与处理2004(04)10.何正友;陈小勤基于多尺度能量统计和小波能量熵测度的电力暂态信号识别方法[期刊论文]中国电机工程学报2006(10)11.钟波;赵华军 PSCAD/EMTDC程序与 Matlab语言接口的研究[期刊论文]广东电力2005(08)12.许允之;刘昊;冯宇 Matlab在电力系统仿真实验中的应用[期刊论文]实验技术与管理2007(01)13.肖异;尹项根;张哲 PSCAD/ EMTDO程序与继电保护仿真模型接口技术及应用[期刊论文]电力自动化设备2006(11)14.林良真;叶林电磁暂态分析软件包 PSCAD/EMTDC[期刊论文]电网技术2000(01)15. ZHANG Nan; KEZUNOVIC M Implementing an advanced simulation tool for comprehensive fault analysis2005(18)引证文献(1条)王朕.朱琳.温渤婴基于 PSCAD的继电保护电压电流发生器的硏制[期刊论文]电力自动化设备2010(8)本文链接http://d.g.wanfangdata.com.cn/periodiCaldlzdhsb200711021.aspx
- 2021-05-06下载
- 积分：1
华为FusionInsight HD 2.7 技术白皮书.pdf
华为FusionInsight HD 2.7 技术白皮书，详细介绍了华为版Hadoop的各个组件功能。华为FusionInsight是华为企业级大数据存储、查询、分析的统一平台。华为 Fusionlnsight hd27技术白皮书日录目录1简介…1.1 Fusionlnsight hD概述1.2 FusionInsight HD组件介绍.2重点组件介绍52.集群管理 Manager622分布式文件系统HDFS23统一资源管理和调度框架YARN24分布式批处理引擎 Mapreduce.25分布式数据库 HBase2.6数据仓库组件Hive27分布式内存计算引擎 Spark28全文检索组件Solr.29批量数据集成 Loader( Scoop)….122.10实时数据采集 Flume142.11流式事件处理( Storn)…2.11.1 Storm2.11.2 StreamCQL…2.11.3 Flink2.12分布式高速缓存 Redis2.|3分布式消息队列 Kafka2.14作业编排与调度 Oozie...........212.15数据继承入凵Hue文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书1简介简介1.1 FusionInsight HD概述1.2 FusionInsight hD组件介绍文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介11 FusionInsight hD概述FusionInsight是华为仝业级大数据存储、查询、分析的统一平台,能够帮助全业快速构建海量数据信息处理系统,通过对巨量信恳数据实吋与非实时的分析挖掘,发现全新价值点和企业商机应用层REST API数据服务明细影像推荐/伪控关系轨迹Data世像ServiceREST API/SQL/SDKloaderMe知认FormerManager数据分析Data Farm数据集成信数据挖识、服务框智慧配置管理性能管理告警管理数据处理发全管理DataoS hadoop Spark2 STORM(Flink LibrA租户管理灾备管理FusionInsigh解决方案由5个子产品 FusionInsight hD、 Fusioninsight libra、FusionInsight miner、 FusionInsight Farmer和1个操作运维系统 FusionInsight manager构成FusionInsight HD:企业级的大数据处理环境,是一个分布式数据处理系统,对外提供大容量的数据存储、分析查询和实时流式数据处理分析能力。usionInsight HD包括 Zookeeper、 Hadoop、 HBase、 Loader、 HBase、Hive、Hue、 Oozie、 Phoenix、Solr、 Redis、 Spark、 Streaming、 Kafka、E、 Flink等组件。FusionInsight miner:个业级的数据分析平台,基于华为 FusionInsight hd的分布式存储和并行计算技术,提供从海量数据中挖掘出价值信息的平台。FusionInsight Farmer:企业级的大数据应用容器,为企业业务提供统一开发、运行和管埋的平台。Fusionlnsight Manager:企业级大数据的操作运维提供,提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检査、问题定位、升级和补丁等功能FusionInsight librA:企业级的MPP关系型数据库,基于列存储和MPP架构,是为面向结构化数据分析而设计开发的,能够有效处理PB级别的数据量。 FusionInsightLibrA在核心技术上跟传统数据库有巨大差别,可以解决很多行业用户的数据处理性能问题,可以为超大规模数据管理提供高性价比的通用计算平台,并可用于支撑各类数据仓库系统、BⅠ( Business intelligence)系统和决策支持系统,统一为上层应用的决策分析等提供服务。文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介12 FusionInsight hD组件介绍数招外析数据集成菜群理款据挖握数据挖掘处理Mahout(on MRMI I ib(on Spark)ahx款什理作业调应DSL领域描述语U。2e枇处互询KV面流式杏诈HiveparksQLRedisStreamcQL批量分市式计算引Loade故障管卫七处理流处理附件处理MapReduceFlinkstorm实时采性能管理分布式资源管Y消思队列安仝售翅Kalka分布式存储雪NOSQL数招库按素引≤QL行惴格式租户管理上传下载FtnonHDFSOROPalyueLCai bun De莫分布式文件系统备份曾理HDFSFusionInsight hd需要对廾源组件进行封裝和增强,对外提供稳定的大容量的数据存储、查询和分析能力。各自组件提供功能如下Manager:作为运维系统,为 I FusionInsight hD提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装/级/补丁、配置管理、监控管理、告警管理、用户管理、租户管理等。HDFS: Hadoop分布式文件系统( Hadoop Distributed File System),提供高吞吐量的数据访问,适合大规模数据集方面的应用。HBase:提供海量数据存储功能,是一种构建在HDFS之上的分布式、面向列的存储系统。Oozie:提供了对开源 Hadoop组件的任务编排、执行的功能。以 Java Web应用程序的形式运行在 Java servlet容器(如: Tomcat)中,并使用数据库来存储工作流定义、当前运行的工作流实例(含实例的状态和变量)。Zookeeper:提供分布式、高可用性的协调服务能力。帮助系统遷免单点故障,从而建立可靠的应用程序Redis:提供基于内存的高性能分布式KV缓存系统。Yarn: Hadoop2.0中的資源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。Mapreduce:提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境。Spark:基于内存进行计算的分布式计算架Hive:建立在 Hadoop基础上的井源的数据仓库,提供类似SQL的HⅤeQL语言操作结构化数据存储服务和基本的数据分析服务。Loader:基 J Apache Scoop实巩 FusionInsight hD与关系型数据库、p/sp文件服务器之间数据批量导入导出工具:同时提供 Java api/ shell!务调度接口,供第三方调度平台调用。●Hue:提供了开源 Hadoop绀件的 WebUI,可以通过浏览器操作HDFS的目录和文件,调用 Oozie米创建、监控和编排工作流,可操作 Loader组件,査看Zo< eeper集群情况。文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介Flume:一个分布式、可靠和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Fume提供对数据进行简单处理,并写入各种数据接受方(可定制)的能力。●Solr:一个髙性能,基于 Lucene的全文检索服务器。Solr对 Lucene进行了扩展,提供比 Lucene更为肀富的查询语言,同时实现」可配置、可扩展,并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文检索引擎Kafka:一个分布式的、分区的、多副本的实时消息发布-订阅系统。提供可护展、扃吞吐、低延迟、高可靠的消息分发服务Storm:一个分布式、可靠、容错的实时流式数据处理的系统,并提供类SQLtreaInCQL)的查询语言Fink:分布式的、高可用的、能保证 Exactly Once语义的针对流数据和批数据的处理引擎SparkSQL:基于 Spark引擎的高性能SQL引擎,可与Hive实现元数据共享。Mahaut:提供基于 Mapreduce的数据挖掘算法库MLLib:提供基于 Spark的数据挖掘算法库phx:提供基于 Spark的图处理算法库文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍2重点组件介绍21集群管理 Manager22分布式文件系统HDFS2.3统一资源管理和调度框架YARN24分布式批处理引擎 MapReduce2.5分布式数据库 HBase2.6数据仓库组件Hive27分布式内存计算引擎 Spark28全文检索组件Solr2.9批量数据集成 Loader( Scoop)210实时数据采集 Flume2.ll流式事件处理( Storm)212分布式高速缓存 Redis213分布式消息队列 Kafka2.14作业编排与调度 Oozie2.15数据继承入口Hue文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍21集群管理 ManagerManager是 FusionInsight H的运维管理系统,为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的安裝部署、性能监控、告警、用户管理、权限管理、审计、服务管理、健康检査、日志采集、升级和补丁等功能图2-1 Manager逻辑架构w已妇UP SereIAMCEPPMS匚就动aLdapOM M AgentNode AgentNTP ClerDHTLFusionInsight ManagerFusionInsight Manager由OMS和 NodeAgent组成:●OMS:操作维护系统的管理节点,OMS·般有两个,互为主备。NodeAgen:操作维护系统中的所有被管理节点,每个节点上一个。表2-1业务模块说明模块名称描述Web Service是一个部署在 Tomcat下的web服务,提供 Manager的htts:接口,用于通过浏览器访问 Manager。同时还提供基于 Syslog和SNMP协议的北向接入能力ControllerManager的控制中心,负责汇聚来自集群中所有节点的信息,统一问管理员展示,以及负责接收来自管理员的操作指令,并且依据操作指令所影响的范围,向集群的所有相关节点同步信息nodeAgent存在于每一个集群节点,是 Controller对部署在该节点上组件做切操作的代理。代表本节点上部署的所有组件与 Controller交互,实现整个集群多点到单点的汇聚IAM负责记录审计日志。在 Manager的U上每一个非查询类操作,都有对应的审计日志文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍模块名称描述PMS性能监控模块,搜集每一个OMA上的性能监控数据并提供査询CEP汇聚功能模块。比如将所有OMA上的磁盘已用空间汇总成一个性能指标FMS告警模块,搜集每一个OMA上的告警并提供查询OMMAgent各节点上面性能监控和告警的Agen,负责收集该 Agent Node上的性能监控数据和告警数据CAS统一认证中心,登录 Web service时需要在CAS进行脊录认证,浏览器通过URL自动跳转访问CASAOS权限管理模块,管理用户和用户组的权限OMS Kerberos提供单点登录及 Controller与 Nodc agent间认证的功能OMS Ldap在集群安装前为用广认证提供数据仔储,在集群安装后作为集群中Ldap的备份DatabaseManager的数据库,负责存储配置、监控、告警等信息NTP负责集群内部各节点与OMS节点之向的时钟同步和OMS节点与外部时钟源之间的时钟同步。22分布式文件系统HDFSHDFS是 Hadoop的分布式文件系统,实现大规模数据叮靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在现有文件之后的添加操作。HDHS保证一个文件在个时刻只被一个调用者执行写操作,而可以被多个调用者执行读操作。图2-2分布式文件系统HDFSHDFS ArchitectureMetadata(Name, re)Metadata. opsNamenode/home/foo/data. 3Black opsRead DatanodesDatanodesReplicationBlocksRack 1WriteRack 2文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司
- 2020-12-07下载
- 积分：1
