华为FusionInsight HD 2.7 技术白皮书.pdf
华为FusionInsight HD 2.7 技术白皮书，详细介绍了华为版Hadoop的各个组件功能。华为FusionInsight是华为企业级大数据存储、查询、分析的统一平台。华为 Fusionlnsight hd27技术白皮书日录目录1简介…1.1 Fusionlnsight hD概述1.2 FusionInsight HD组件介绍.2重点组件介绍52.集群管理 Manager622分布式文件系统HDFS23统一资源管理和调度框架YARN24分布式批处理引擎 Mapreduce.25分布式数据库 HBase2.6数据仓库组件Hive27分布式内存计算引擎 Spark28全文检索组件Solr.29批量数据集成 Loader( Scoop)….122.10实时数据采集 Flume142.11流式事件处理( Storn)…2.11.1 Storm2.11.2 StreamCQL…2.11.3 Flink2.12分布式高速缓存 Redis2.|3分布式消息队列 Kafka2.14作业编排与调度 Oozie...........212.15数据继承入凵Hue文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书1简介简介1.1 FusionInsight HD概述1.2 FusionInsight hD组件介绍文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介11 FusionInsight hD概述FusionInsight是华为仝业级大数据存储、查询、分析的统一平台,能够帮助全业快速构建海量数据信息处理系统,通过对巨量信恳数据实吋与非实时的分析挖掘,发现全新价值点和企业商机应用层REST API数据服务明细影像推荐/伪控关系轨迹Data世像ServiceREST API/SQL/SDKloaderMe知认FormerManager数据分析Data Farm数据集成信数据挖识、服务框智慧配置管理性能管理告警管理数据处理发全管理DataoS hadoop Spark2 STORM(Flink LibrA租户管理灾备管理FusionInsigh解决方案由5个子产品 FusionInsight hD、 Fusioninsight libra、FusionInsight miner、 FusionInsight Farmer和1个操作运维系统 FusionInsight manager构成FusionInsight HD:企业级的大数据处理环境,是一个分布式数据处理系统,对外提供大容量的数据存储、分析查询和实时流式数据处理分析能力。usionInsight HD包括 Zookeeper、 Hadoop、 HBase、 Loader、 HBase、Hive、Hue、 Oozie、 Phoenix、Solr、 Redis、 Spark、 Streaming、 Kafka、E、 Flink等组件。FusionInsight miner:个业级的数据分析平台,基于华为 FusionInsight hd的分布式存储和并行计算技术,提供从海量数据中挖掘出价值信息的平台。FusionInsight Farmer:企业级的大数据应用容器,为企业业务提供统一开发、运行和管埋的平台。Fusionlnsight Manager:企业级大数据的操作运维提供,提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检査、问题定位、升级和补丁等功能FusionInsight librA:企业级的MPP关系型数据库,基于列存储和MPP架构,是为面向结构化数据分析而设计开发的,能够有效处理PB级别的数据量。 FusionInsightLibrA在核心技术上跟传统数据库有巨大差别,可以解决很多行业用户的数据处理性能问题,可以为超大规模数据管理提供高性价比的通用计算平台,并可用于支撑各类数据仓库系统、BⅠ( Business intelligence)系统和决策支持系统,统一为上层应用的决策分析等提供服务。文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介12 FusionInsight hD组件介绍数招外析数据集成菜群理款据挖握数据挖掘处理Mahout(on MRMI I ib(on Spark)ahx款什理作业调应DSL领域描述语U。2e枇处互询KV面流式杏诈HiveparksQLRedisStreamcQL批量分市式计算引Loade故障管卫七处理流处理附件处理MapReduceFlinkstorm实时采性能管理分布式资源管Y消思队列安仝售翅Kalka分布式存储雪NOSQL数招库按素引≤QL行惴格式租户管理上传下载FtnonHDFSOROPalyueLCai bun De莫分布式文件系统备份曾理HDFSFusionInsight hd需要对廾源组件进行封裝和增强,对外提供稳定的大容量的数据存储、查询和分析能力。各自组件提供功能如下Manager:作为运维系统,为 I FusionInsight hD提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装/级/补丁、配置管理、监控管理、告警管理、用户管理、租户管理等。HDFS: Hadoop分布式文件系统( Hadoop Distributed File System),提供高吞吐量的数据访问,适合大规模数据集方面的应用。HBase:提供海量数据存储功能,是一种构建在HDFS之上的分布式、面向列的存储系统。Oozie:提供了对开源 Hadoop组件的任务编排、执行的功能。以 Java Web应用程序的形式运行在 Java servlet容器(如: Tomcat)中,并使用数据库来存储工作流定义、当前运行的工作流实例(含实例的状态和变量)。Zookeeper:提供分布式、高可用性的协调服务能力。帮助系统遷免单点故障,从而建立可靠的应用程序Redis:提供基于内存的高性能分布式KV缓存系统。Yarn: Hadoop2.0中的資源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。Mapreduce:提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境。Spark:基于内存进行计算的分布式计算架Hive:建立在 Hadoop基础上的井源的数据仓库,提供类似SQL的HⅤeQL语言操作结构化数据存储服务和基本的数据分析服务。Loader:基 J Apache Scoop实巩 FusionInsight hD与关系型数据库、p/sp文件服务器之间数据批量导入导出工具:同时提供 Java api/ shell!务调度接口,供第三方调度平台调用。●Hue:提供了开源 Hadoop绀件的 WebUI,可以通过浏览器操作HDFS的目录和文件,调用 Oozie米创建、监控和编排工作流,可操作 Loader组件,査看Zo< eeper集群情况。文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介Flume:一个分布式、可靠和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Fume提供对数据进行简单处理,并写入各种数据接受方(可定制)的能力。●Solr:一个髙性能,基于 Lucene的全文检索服务器。Solr对 Lucene进行了扩展,提供比 Lucene更为肀富的查询语言,同时实现」可配置、可扩展,并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文检索引擎Kafka:一个分布式的、分区的、多副本的实时消息发布-订阅系统。提供可护展、扃吞吐、低延迟、高可靠的消息分发服务Storm:一个分布式、可靠、容错的实时流式数据处理的系统,并提供类SQLtreaInCQL)的查询语言Fink:分布式的、高可用的、能保证 Exactly Once语义的针对流数据和批数据的处理引擎SparkSQL:基于 Spark引擎的高性能SQL引擎,可与Hive实现元数据共享。Mahaut:提供基于 Mapreduce的数据挖掘算法库MLLib:提供基于 Spark的数据挖掘算法库phx:提供基于 Spark的图处理算法库文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍2重点组件介绍21集群管理 Manager22分布式文件系统HDFS2.3统一资源管理和调度框架YARN24分布式批处理引擎 MapReduce2.5分布式数据库 HBase2.6数据仓库组件Hive27分布式内存计算引擎 Spark28全文检索组件Solr2.9批量数据集成 Loader( Scoop)210实时数据采集 Flume2.ll流式事件处理( Storm)212分布式高速缓存 Redis213分布式消息队列 Kafka2.14作业编排与调度 Oozie2.15数据继承入口Hue文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍21集群管理 ManagerManager是 FusionInsight H的运维管理系统,为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的安裝部署、性能监控、告警、用户管理、权限管理、审计、服务管理、健康检査、日志采集、升级和补丁等功能图2-1 Manager逻辑架构w已妇UP SereIAMCEPPMS匚就动aLdapOM M AgentNode AgentNTP ClerDHTLFusionInsight ManagerFusionInsight Manager由OMS和 NodeAgent组成:●OMS:操作维护系统的管理节点,OMS·般有两个,互为主备。NodeAgen:操作维护系统中的所有被管理节点,每个节点上一个。表2-1业务模块说明模块名称描述Web Service是一个部署在 Tomcat下的web服务,提供 Manager的htts:接口,用于通过浏览器访问 Manager。同时还提供基于 Syslog和SNMP协议的北向接入能力ControllerManager的控制中心,负责汇聚来自集群中所有节点的信息,统一问管理员展示,以及负责接收来自管理员的操作指令,并且依据操作指令所影响的范围,向集群的所有相关节点同步信息nodeAgent存在于每一个集群节点,是 Controller对部署在该节点上组件做切操作的代理。代表本节点上部署的所有组件与 Controller交互,实现整个集群多点到单点的汇聚IAM负责记录审计日志。在 Manager的U上每一个非查询类操作,都有对应的审计日志文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍模块名称描述PMS性能监控模块,搜集每一个OMA上的性能监控数据并提供査询CEP汇聚功能模块。比如将所有OMA上的磁盘已用空间汇总成一个性能指标FMS告警模块,搜集每一个OMA上的告警并提供查询OMMAgent各节点上面性能监控和告警的Agen,负责收集该 Agent Node上的性能监控数据和告警数据CAS统一认证中心,登录 Web service时需要在CAS进行脊录认证,浏览器通过URL自动跳转访问CASAOS权限管理模块,管理用户和用户组的权限OMS Kerberos提供单点登录及 Controller与 Nodc agent间认证的功能OMS Ldap在集群安装前为用广认证提供数据仔储,在集群安装后作为集群中Ldap的备份DatabaseManager的数据库,负责存储配置、监控、告警等信息NTP负责集群内部各节点与OMS节点之向的时钟同步和OMS节点与外部时钟源之间的时钟同步。22分布式文件系统HDFSHDFS是 Hadoop的分布式文件系统,实现大规模数据叮靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在现有文件之后的添加操作。HDHS保证一个文件在个时刻只被一个调用者执行写操作,而可以被多个调用者执行读操作。图2-2分布式文件系统HDFSHDFS ArchitectureMetadata(Name, re)Metadata. opsNamenode/home/foo/data. 3Black opsRead DatanodesDatanodesReplicationBlocksRack 1WriteRack 2文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司
- 2020-12-07下载
- 积分：1
粗糙集理论与方法
张文修的一本比较经典的粗糙集理论的教材，感兴趣的可以参考下00140230西安交通大学数学研究生教学丛书粗糙集理论与方法张文修吴伟志梁吉业李德玉编著2001内容简介本书系统地介绍了粗糙集理论的基本内容与方法,力图概括回内外最新成果主要内容有粗糙集的基本概念,粗糙计算方法,粗糙集的代数性质与粗糙逻辑,粗幡集的各种推广模型,粗糙集与其他处理不确定或不精确问邀理论的联系以不完备信息系统下的粗糙集方法本书可作为计算机科学应用数学、自动控制、信息科学和管理工程等专业的高年级学生及研究生的教材,也可作为研究粗橢集理论与方法的科技人员的参考书书在版编目CI据粗糙集理论与方法/文修等编著.北京:科学出版社,2001酉安交道大学数学研究生教学丛书)1sBN70307984.租…山.张…Ⅲ.粗糙集Ⅳ.Ol44中图娅本图书馆CIP数据校字(2000第69236号科學当腹越出版北京东监域根北]6号鄙蝙;117斯音刮厂郾刷科学出版社发行各她新华书店经销200H年月第版开本:F5(72×1020年7月第一次印剧印张:1434型数:1-3000字数:25100定价:22.00元(如有印质量间题,我社负资调换〈新欣当今,社会巳经齿入了恻络信息时代,计算机与网络信息技术的飞速发展使得各个领域的数据和信息急剧增加(信息爆炸),并且由于入类的参与使数据与信息系统中的不确定性更加显著(复杂系统)如何从大量的、杂乱无章的、强一扰的数据(海量效据)中挖掘潜在的、有利用价值的信息(有用知识这给人类的智能信息处理能大提出了所未有的挑战.由此产生了人工智能併究的一个崭新领城——数据挖掘(ⅠM和数据库知识发现(KDD在IM和KD诸多方法中,粗糙集理论与方法对于处理复杂系统不失为一种较为有效的方法,因为它与概率方法模糊集方法和证据理论方法等其他处理不确定性问题理论的最显著约区别是它无需提供问题所需处理的数据集合之外的任何先验信息当然,由于该理论未能包含处理不精确或不确定原始数据的机制,所以与其他处理不确定性问题的理论有很强的互补性相糙集理论是波兰数学家 Z Pawiak于1982年提出的一种数据分析理论由于最初关于粗糙集理论的研究主要集中在波兰,因此当时并没有引起国际计算机界和数学界的重视,研究地域仅局限于东欧一些国家.直到1990年前后,由于该理论在数据的决策与分析、模式识别、机器学习与知识发现等方面的成功应用,才逐渐引起了世界各国学者的广泛关注.1991年 Z Pawlak的专著《料糙集—关于数据推理的理论》 Rough: Sets-- -Thearetical/etsof Reasoning about Data)的问世,标志着粗糙集理论及其应用的研究进人丁活跃时期.1992年在波兰召开了关于粗糙集理论的第一屈国际学术会议.1995年A(M(απ munication将粗糙集列为新浮现的计算机科学的研究课题.目前粗糙集理论已成为信息科学最为活跃的研究领域之一,同时,该理论还在医学、化学、材料学地理学管理科学和金融等其他学科得到∫成功的应用本书的目的是介绍粗糙集射基本理论与方法以及这理论的研究发展状况.为了闯读方倜,本书对国内外已发表的文章进行了系统化处理,规范了数学概念与符号,在统一的框架下叙述了粗糙集理论的最新研究成果,同时也包含了作者的某些新成果,期望为从事粗糙集理论研究入员和研究生进人这新领域提供捷径鉴于我们从事该领域的研究工作时间较短,加之身知识的局限性,错误与不妥之处在所难免,热忧欢迎广大同仁批评、指止作者2000年8月录第-章粗糙集理论的基本概念§【.1知识与知识库§【.2不精确范嗨,近似与粗糙集…■■■■■■■■§.3知识约简……§1.4知识的依赖性………………………………………16§1.5知识表达系统17§.6决策表『·「TT·■冒■音T曾■鲁?1音曾■上……………19§1.7区分矩阵与区分函数笫二章粗糙集模型的算法262.1信总系统和决策表TT1T1冒量26§22简单分类27氵2.3支持子集………s24决策属性的支持度………kd■p电■山白山§2.5交的计算……………33s26多个条件的支持度■『■冒■■■卩甲■罩卩『■■■b■■d■b山I凸晶d■■34氵2.7函数依赖…………………35§2.8恒等依赖甲干·!■■■冒■1■dh十■m§2.9重要性和核§2.10属性依颊性T甲“■·T曾冒會會十個ql早4■■■個會3§2.11约简T■■第三章般关系下的粗糙集模型…§3.1二元关系与邻城算子……………41§3.2二元关系与粗糙近似算子…43§3,3近似算子的其地定义形式与比较……………4§34近似算子的表示…自■■■■■■4■郾LI卜郾4■■b▲■■■■■■■·甲聊a■b■着郾山晶d§3.5程度粗榧集模型…■■會會■■‘自自自■聊即聊■b■■当dh_画第四章粗糙集代数的公理化方法…*574.1粗糙集理论的构造性方法…rr…"w…5784.2粗糙集理论的公理化方法§4.3构造性方法与公理化方法的关系…………■·■幽日··■■口■甲■【山■中中…6284.4特殊类型的粗糙集代数第五章粗糙集系统的代数结构·「丬■"■·白幽■日■『■早■卜P画■着■昌白晶画聊甲嵋目录§5.1粗糙集的Se代数§5.2粗糙近似宰间血d幽唱幽日日4:bq1即4日日B:甲44日b·甲日甲4:·甲4§5.3粗集和 Nelson代数…■_L啁↓■■■■■b§5.4粗糙概念的代数刻画■■■■■■■■■■■d口口……………85§5.5半群中的粗理想……,……………■■■■93第六章粗糙逻辑与决策■■■■■■■歌■↓■■罩↓卩■l■■罩d■b■■鄢↓■k↓db■■■■b■kd看■郾■■b矗■司■山山d■b古■■98§6,1基于完备信息系统的粗逻辑986.2决策逻辑与决策………………1"""…!…"……s…100§6.3基于不光备信息系统的模态逻辑………………115第七章变榇度粗糙集模型■【■■冒■■甲卓■■■■山d血血個■备量§7.多燃包含关系…123§72咄精度粗槌集模型中的近似集……………………………………124§73集合钓相对可辨别性…………………………-:126§74B近似的性质…128属性钓近似依赖性129§7.6近似约简…甲甲■■■郾通4阝………",130第八章概率粗糙集模型132§8有限论域上概率测度的基本知识……13§8,2信息熵…L唱■LLa133§8.3概卒粗糙集模型∵……T■■■■■■…135§8.4概率粗糙集模型的其他形式1398.5Rys决策与粗糙近似142路呂.6粗糙隶属函数与概念的联合rr1148§8.7知识的不确定性度量§B8概率粗糧集模翘和确定性粗糙集模型的比较………,155第九章模糊粗糙集模型P■s…1589.1模糊集的基本慨念158§9,2糢糊关系………………441·日·日q甲日■_日面如a甲qrpa4P自……·160§93模糊粗糙集………161§9.4甚于三角模的模糊粗欖集模型…:16889.5基于包含度的粗牲集模型……………■■和冒省●·■口■即甲看看D品J§9.6絛正型模糊粗糙集模型……■;;■■山晶;aq41即■血mm■甲甲唱1酥晶日H甲■182§9.7粗糙集与模糊集的比较■■185第十章基于随机集的粗糙集模型187§0,1随机集容度泛函t87§10.2信任函数与似然函数…d幽··『看■备如▲■p甲甲4即申日■鲁自中■暴即l88§10.3基于随机集的粗糙集模型…T·「·■■『■■■■■■Lpd■b10.4近似算子与可能性测度………"…201第十一章不完备信息系统的粗糙集方法……*………………20811.]不完备信息系统忄·■曾■■■·◆I會■■P■冒■鲁會◆4l■§112近似集2078113决策表,决策规则和知识约简……208A11.4区分函数与约简的计算司甲甲■鲁甲甲■■■p211参考文献十個■■1幽"b■213记号表………………….223第一章粗糙集理论的基本概念粗糙集理论是一·种新的处理模糊和不确定性知识的数学工具,其主要思想就是在保持分类能力不变的前提下,通过知识约简,导出问题的决策或分类规则.目前,粗集理论已被成功地应用于机器学习、决策分析、过程控制、模式识別与数据挖掘等领域.夲章介绍标准粗糙集理论( Pawlak粗糙集模型}的基本概念,作为后面各章节的基础§1.1知识与知识库投U≠是找们感兴趣的对象成的有限集合,称为论域任何子集X匚U称为U中的个概念或范畴.为规范化起见,我们认为空集也是一个概念,U中的任何概念族称关于U的抽象知识,简称知识本书上要是对在U上能形成划分的那些知识感兴趣.一个划分定义为:价=X1,X2,…,Xn1;XCU,X;≠x,X∩X=,对于i≠j,,1,2U上的族划分称为X于U的个知认库( knowledge base设R是U上的一个等价关系,U/R表示R的所有等价类(或者U上的分类构成的集合,x]R表示包含元素∈I的R等价类…个知识库就是个关系系统K=(UR),其中U为非空有限集,称为论域R是U上的一族等价关系若PCR,且P≠分,则∩P(P中所有等价关系的交集)也是一个等价关系,称为P上的不可区分〔 ndis nihility)关系,记为ind(P),且有n(P)REP这样,Und(P)(即等价关系ind(P)的所有等价美)表示与等价关系族P相关的知识,称为K中关于U的P基本知识(P基本集)为单起鬼,我们用U代替Und(P),ind(P)的等价类称为知识P的基本概念或基本范畴特别地,如果Q∈R,则称Q为K中关于U的Q初等知识,Q的等价类为知识R的Q初等概念或Q初等范畴事实上,P基本范畴是拥有知识P的论域的基本特性换句话说它们是知识的堪本模块同样,我们也可定义:当K=(,R)为一个知识库,ind(K)定义为K中第一章粗糙集埋论的基本概怠所有等价关系的族,记作ind(K)“ind(P)≠PR例1.1绘定一玩具积木的集合U={x1,x2,…,xg},并假设这些积木有不同的颜色(红、黄、蓝),形状(方,圆、三角},体积(小,大).因此,这些积木都可以用颜色形状体积这些知识来描述例如一块积木可以是红色、小而圆的,或黄色、人而方的等如果我们根据某属性描述这些积木的情况,就可以按颜色、形状、体积分类按颜色分类:17337蓝了5;6"一黄按形状分类圆方℃34丁·8角按体积分类大I5,2a换言之,我们定义三个等价关系(即属性):颜色R1,形状R2和体积R3,通过这些等价关系,可以得到下而三个等价类UR1=1{x1,x3,xy},{x25;吧U/R2=1x1,xs,x2,x6},x3,x4,x,!},夏/R3={x2,x7,x81,{x1,x3,x4,x,6这些等价类是由知识库K=(U,R1,R2,R3})中的初等概念(初等范畴)构成的基本范畴是初等范畴的交集构成的,例如下列集合3,x7}∩:x3,x4,3+74{∩{x256783y丁4;了它们分别为R1,R2}的基本范畴,即:红色三角形,蓝色方形,黄色三角形下列集合x3,x?C「x3,x4,x5,xs∩2,7x8={72,x1∩x,x;6∩2,x7,x8}={x2},5x69E845778f它们分别为{R12R2,R3的基本范畴,即红色大三角形,蓝色大方形,黄色大
- 2021-05-06下载
- 积分：1
