-
ICA负熵万能算法详细说明
ICA 负熵 梯度下降 信号分解重建 MATLAB 稍加修改可以应用自己问题
- 2020-12-05下载
- 积分:1
-
源代码tdoa
无线传感器定位的源代码,基于tdoa算法的仿真程序
- 2020-11-02下载
- 积分:1
-
华为FusionInsight HD 2.7 技术白皮书.pdf
华为FusionInsight HD 2.7 技术白皮书,详细介绍了华为版Hadoop的各个组件功能。华为FusionInsight是华为企业级大数据存储、查询、分析的统一平台。华为 Fusionlnsight hd27技术白皮书日录目录1简介…1.1 Fusionlnsight hD概述1.2 FusionInsight HD组件介绍.2重点组件介绍52.集群管理 Manager622分布式文件系统HDFS23统一资源管理和调度框架YARN24分布式批处理引擎 Mapreduce.25分布式数据库 HBase2.6数据仓库组件Hive27分布式内存计算引擎 Spark28全文检索组件Solr.29批量数据集成 Loader( Scoop)….122.10实时数据采集 Flume142.11流式事件处理( Storn)…2.11.1 Storm2.11.2 StreamCQL…2.11.3 Flink2.12分布式高速缓存 Redis2.|3分布式消息队列 Kafka2.14作业编排与调度 Oozie...........212.15数据继承入凵Hue文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书1简介简介1.1 FusionInsight HD概述1.2 FusionInsight hD组件介绍文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介11 FusionInsight hD概述FusionInsight是华为仝业级大数据存储、查询、分析的统一平台,能够帮助全业快速构建海量数据信息处理系统,通过对巨量信恳数据实吋与非实时的分析挖掘,发现全新价值点和企业商机应用层REST API数据服务明细影像推荐/伪控关系轨迹Data世像ServiceREST API/SQL/SDKloaderMe知认FormerManager数据分析Data Farm数据集成信数据挖识、服务框智慧配置管理性能管理告警管理数据处理发全管理DataoS hadoop Spark2 STORM(Flink LibrA租户管理灾备管理FusionInsigh解决方案由5个子产品 FusionInsight hD、 Fusioninsight libra、FusionInsight miner、 FusionInsight Farmer和1个操作运维系统 FusionInsight manager构成FusionInsight HD:企业级的大数据处理环境,是一个分布式数据处理系统,对外提供大容量的数据存储、分析查询和实时流式数据处理分析能力。usionInsight HD包括 Zookeeper、 Hadoop、 HBase、 Loader、 HBase、Hive、Hue、 Oozie、 Phoenix、Solr、 Redis、 Spark、 Streaming、 Kafka、E、 Flink等组件。FusionInsight miner:个业级的数据分析平台,基于华为 FusionInsight hd的分布式存储和并行计算技术,提供从海量数据中挖掘出价值信息的平台。FusionInsight Farmer:企业级的大数据应用容器,为企业业务提供统一开发、运行和管埋的平台。Fusionlnsight Manager:企业级大数据的操作运维提供,提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检査、问题定位、升级和补丁等功能FusionInsight librA:企业级的MPP关系型数据库,基于列存储和MPP架构,是为面向结构化数据分析而设计开发的,能够有效处理PB级别的数据量。 FusionInsightLibrA在核心技术上跟传统数据库有巨大差别,可以解决很多行业用户的数据处理性能问题,可以为超大规模数据管理提供高性价比的通用计算平台,并可用于支撑各类数据仓库系统、BⅠ( Business intelligence)系统和决策支持系统,统一为上层应用的决策分析等提供服务。文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介12 FusionInsight hD组件介绍数招外析数据集成菜群理款据挖握数据挖掘处理Mahout(on MRMI I ib(on Spark)ahx款什理作业调应DSL领域描述语U。2e枇处互询KV面流式杏诈HiveparksQLRedisStreamcQL批量分市式计算引Loade故障管卫七处理流处理附件处理MapReduceFlinkstorm实时采性能管理分布式资源管Y消思队列安仝售翅Kalka分布式存储雪NOSQL数招库按素引≤QL行惴格式租户管理上传下载FtnonHDFSOROPalyueLCai bun De莫分布式文件系统备份曾理HDFSFusionInsight hd需要对廾源组件进行封裝和增强,对外提供稳定的大容量的数据存储、查询和分析能力。各自组件提供功能如下Manager:作为运维系统,为 I FusionInsight hD提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装/级/补丁、配置管理、监控管理、告警管理、用户管理、租户管理等。HDFS: Hadoop分布式文件系统( Hadoop Distributed File System),提供高吞吐量的数据访问,适合大规模数据集方面的应用。HBase:提供海量数据存储功能,是一种构建在HDFS之上的分布式、面向列的存储系统。Oozie:提供了对开源 Hadoop组件的任务编排、执行的功能。以 Java Web应用程序的形式运行在 Java servlet容器(如: Tomcat)中,并使用数据库来存储工作流定义、当前运行的工作流实例(含实例的状态和变量)。Zookeeper:提供分布式、高可用性的协调服务能力。帮助系统遷免单点故障,从而建立可靠的应用程序Redis:提供基于内存的高性能分布式KV缓存系统。Yarn: Hadoop2.0中的資源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。Mapreduce:提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境。Spark:基于内存进行计算的分布式计算架Hive:建立在 Hadoop基础上的井源的数据仓库,提供类似SQL的HⅤeQL语言操作结构化数据存储服务和基本的数据分析服务。Loader:基 J Apache Scoop实巩 FusionInsight hD与关系型数据库、p/sp文件服务器之间数据批量导入导出工具:同时提供 Java api/ shell!务调度接口,供第三方调度平台调用。●Hue:提供了开源 Hadoop绀件的 WebUI,可以通过浏览器操作HDFS的目录和文件,调用 Oozie米创建、监控和编排工作流,可操作 Loader组件,査看Zo< eeper集群情况。文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介Flume:一个分布式、可靠和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Fume提供对数据进行简单处理,并写入各种数据接受方(可定制)的能力。●Solr:一个髙性能,基于 Lucene的全文检索服务器。Solr对 Lucene进行了扩展,提供比 Lucene更为肀富的查询语言,同时实现」可配置、可扩展,并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文检索引擎Kafka:一个分布式的、分区的、多副本的实时消息发布-订阅系统。提供可护展、扃吞吐、低延迟、高可靠的消息分发服务Storm:一个分布式、可靠、容错的实时流式数据处理的系统,并提供类SQLtreaInCQL)的查询语言Fink:分布式的、高可用的、能保证 Exactly Once语义的针对流数据和批数据的处理引擎SparkSQL:基于 Spark引擎的高性能SQL引擎,可与Hive实现元数据共享。Mahaut:提供基于 Mapreduce的数据挖掘算法库MLLib:提供基于 Spark的数据挖掘算法库phx:提供基于 Spark的图处理算法库文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍2重点组件介绍21集群管理 Manager22分布式文件系统HDFS2.3统一资源管理和调度框架YARN24分布式批处理引擎 MapReduce2.5分布式数据库 HBase2.6数据仓库组件Hive27分布式内存计算引擎 Spark28全文检索组件Solr2.9批量数据集成 Loader( Scoop)210实时数据采集 Flume2.ll流式事件处理( Storm)212分布式高速缓存 Redis213分布式消息队列 Kafka2.14作业编排与调度 Oozie2.15数据继承入口Hue文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍21集群管理 ManagerManager是 FusionInsight H的运维管理系统,为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的安裝部署、性能监控、告警、用户管理、权限管理、审计、服务管理、健康检査、日志采集、升级和补丁等功能图2-1 Manager逻辑架构w已妇UP SereIAMCEPPMS匚就动aLdapOM M AgentNode AgentNTP ClerDHTLFusionInsight ManagerFusionInsight Manager由OMS和 NodeAgent组成:●OMS:操作维护系统的管理节点,OMS·般有两个,互为主备。NodeAgen:操作维护系统中的所有被管理节点,每个节点上一个。表2-1业务模块说明模块名称描述Web Service是一个部署在 Tomcat下的web服务,提供 Manager的htts:接口,用于通过浏览器访问 Manager。同时还提供基于 Syslog和SNMP协议的北向接入能力ControllerManager的控制中心,负责汇聚来自集群中所有节点的信息,统一问管理员展示,以及负责接收来自管理员的操作指令,并且依据操作指令所影响的范围,向集群的所有相关节点同步信息nodeAgent存在于每一个集群节点,是 Controller对部署在该节点上组件做切操作的代理。代表本节点上部署的所有组件与 Controller交互,实现整个集群多点到单点的汇聚IAM负责记录审计日志。在 Manager的U上每一个非查询类操作,都有对应的审计日志文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍模块名称描述PMS性能监控模块,搜集每一个OMA上的性能监控数据并提供査询CEP汇聚功能模块。比如将所有OMA上的磁盘已用空间汇总成一个性能指标FMS告警模块,搜集每一个OMA上的告警并提供查询OMMAgent各节点上面性能监控和告警的Agen,负责收集该 Agent Node上的性能监控数据和告警数据CAS统一认证中心,登录 Web service时需要在CAS进行脊录认证,浏览器通过URL自动跳转访问CASAOS权限管理模块,管理用户和用户组的权限OMS Kerberos提供单点登录及 Controller与 Nodc agent间认证的功能OMS Ldap在集群安装前为用广认证提供数据仔储,在集群安装后作为集群中Ldap的备份DatabaseManager的数据库,负责存储配置、监控、告警等信息NTP负责集群内部各节点与OMS节点之向的时钟同步和OMS节点与外部时钟源之间的时钟同步。22分布式文件系统HDFSHDFS是 Hadoop的分布式文件系统,实现大规模数据叮靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在现有文件之后的添加操作。HDHS保证一个文件在个时刻只被一个调用者执行写操作,而可以被多个调用者执行读操作。图2-2分布式文件系统HDFSHDFS ArchitectureMetadata(Name, re)Metadata. opsNamenode/home/foo/data. 3Black opsRead DatanodesDatanodesReplicationBlocksRack 1WriteRack 2文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司
- 2020-12-07下载
- 积分:1
-
33个毕业设计-单片机类
33个毕业设计-单片机16×16点阵(滚动显示)论文+程序.rar cdma通信系统中的接入信道部分进行仿真与分析.rar LED显示屏动态显示和远程监控的实现.rar MCS-51单片机温度控制系统.rar USB接口设计.rar 毕业设计(论文)OFDM通信系统基带数据.rar 仓库温湿度的监测系统.rar 单片机串行通信发射机.rar 单片机课程设计__电子密码锁报告.rar 单片机控制交通灯.rar 电动智能小车(完整论文).rar 电气工程系06届毕业设计开题报告.rar 电信运营商收入保障系统设计与实现.rar 电子设计大赛点阵
- 2021-05-06下载
- 积分:1
-
仿真车辆移动的matlab代码
本代码用于仿真车辆在两条单向三车道道路上移动的情形,考虑到了加速度,超车,背景流量等
- 2020-11-30下载
- 积分:1
-
银行家算法C++实现(穷举所有安全序列)
本人原创 思路:将所有进程全排列 挑选出符合安全算法的序列(首先过滤掉首进程无法分配资源的)界面友好 输出结果用文件存储 编译环境VS2005
- 2020-11-30下载
- 积分:1
-
聊天气泡框 Nine-Patch图片
仿微信,聊天气泡框 便于制作Nine-Patch图片,很实用,在网上找了很久,大家可以下载使用用于练习
- 2020-11-30下载
- 积分:1
-
压缩感知 莱斯大学的一些代码
莱斯大学关于压缩感知的一些代码,供大家参考
- 2020-12-03下载
- 积分:1
-
LabWindows CVI 6.0 编程指南
LabWindowsCVI6.0编程指南日录第1章绪论简介程序开发概述在中使用语言的程序结构的新特性装第2章 Labwindows/CVⅥI的开发环境载入、运行和编辑源程序的主要窗口源代码编辑工具操作用户界面的控件生成交互式代码访问用户界面库函数面板执行和调试程序单步执行断点显示和编辑数据第3章 Labwindows/CV应用程序设计38图形用户界面用户界面编辑器源代码连接代码生成器建立用户界面文件仗用函数面板和函数库源代码分析生成随机数组构建⊥程运行完整的工程添加分析功能修改用户界面编写回调函数运行程序用户事件处理用户事件回调函数第4章基本函数库用户界面库(面板()操作用户界面管理(菜单结构(控件曲线图带状图()操作弹出面板函数格式化输入输出斥(文件输入输出(字符串处理(数据格式化(实用函数库(定时等待(日期时间(文件应用(路径应用(端口(函数库接口介绍函数库概述编程举例第5章高级函数库116高级分析库概述应用实例斥网络化仪器协议与库服务器程序设计客户程序设计介绍发送数据程序设计接收数据程序设计工具厍(L具斥简介密码设计工具条设计分页界面设计系统托盘设计第6章数据库应用程序开发— SQL Toolkit183概述功能概述的安装入门数据库基木概念结构化查询语言控件数据库基本操作数据库操作基木步骤使用的函数库数据斥高级操作设置连接属性设置语句属性操作复合语句第7章高级程序设计230和的基础知识创建和调试使用概述编程实例多线程概述两种多线程机制多线稈间的数据保护防止死锁监视和控制次线程线程的优先级线程局部变量其它一些要注意的问题第8章 ActiveX技术261技术简介使用控件设计带有控件的应用程序需要注意的问题创建服务器应用程序、对象和接口创建服务器工具生成的代码库—服务器函数联编并发布服务器注册线程模式调试服务器些建议、提示和技巧第9章虚拟仪器软件设计301虚拟仪器概述规范规范概述虚拟仪器软件结构仪器驱动程序开发仪器驱动程序模型函数的应用函数面板的设计动态链接库的牛成仪器软面板的设计仪器软血板软面板的设计叫执行文件的生成帮助文件的制作安装盘的制作规范的安装要求制作安装盘驱动程序仪器可互换性驱动程序的结构驱动程序的其他功能驱动程序开发向导驱动程序与驱动程序附录A函数Fmt、Scan的标识符和修饰符附录BS叫L命令348虚拟仪器软件开发环境—一编程指南第1章绪论是公司美国国家仪器公司,简称公司推出的交互式语言开发平台。将功能强大、使用灵活的语言平台与用于数据采集分析和显示的测控专业L具有机地结合起来,利用它的集成化开发环境、交互式编程方法、函数面板和卡富的库函数大大增强了语言的功能,为熟悉语言的开发设计人员编写检测系统、自动测试环境、数据采集系统、过程监控系统等应用软件提供了一个理想的软件廾发坯境。考虑到人多数测控软件设计人员已经掌握了语言,因此本书的重点放在如何使用的编程环境和应用开发测控应用程序上。本书使用的版本是1.1 Labwindows/CV简介是为语言程序员提供的软件开发系统,在其交互式开发环境中编写的程序必须符合标准规范。使用可以完成如下工作:交互式的程厅开发;只有功能强大的函数库,用来创建数据米集和仪器控制的应用程序充分利用宄备的软件工具进行数据采集、分析和显示利用向导开发仪器驱动程序和创建服务器为其它程序开发目标模块、动态连接库)、语言库。在开发环境中可以利用其提供的库函数来实现程序设计、编辑、编译、链接和标准语言程序调试。在该丌发环垙中可以用丰富的函数库来编写程序,此外每个函数都有一个叫做函数面板()的交互式操作界面,在函数面板中可以执行该函数并可以生成调用该函数的代码,也可通过右击面板或控件获得有关函数、参数、函数类和函数库的帮助。在的交互式环境中编写程序必须符合标准语言的规范。另外,在开发应用程序时可以使用编译好的语言目标模块,动态链接库静态库和仪器驱动程序(如何在中载入目标模块和动态链接斥将在第章介绍)。的功能强大在于它提供了丰富的函数库。利用这些库函数除可实现常规的程序设计外,还可实现更加复杂的数据采集和仪器控制系统的廾发。其中比较重要的函数库如图所示仪器库是的特殊资源。它包括和仪器的驱动程序,如示波器、多用表和函数发生器,每个驱动程序都提供可编辑的源代码。使用开发工只提供的库函数可以创建自己的仪器驱动程序,可以创建单个仪器、多个仪器或实际上并不存在的虚拟仪器的驱动程序,在创建仪器驱动程序过程中可以虚拟仪器软件开发环境—一编程指南仪器库厍数据采集库数据采集厍格式化和厍数据分析分析库高级分析库函数库数据表示用户界面库动态数据交换厍网络和进程通讯传输控制协议库库标准凶数库的函数厍使用的其它库函数(本书在第章将介绍仪器驱动程序的开发)。使用的用户界面编辑器可以创建并编辑图形用户界面,而使用的用户界面库函数可以在程序中创建并控制。此外,为面板的设计,准备了许多专业控件,如:曲线图控件、带状图控件、表头、旋钮和指示灯等,以适应测控系统软件开发的需求,利用这些控件可以设计出专业的测控程序界面1.2 Labwindows/GVI程序开发概述在下开发应用程序和使用其它语言和开发环境一样,要保持良好的编程习惯。例如,在编写代码之前要改计程序的功能结构,冋时在代码中要有良好的文档和注释,这些可以帮助你更好的进行管理程序的开发。1.2.1在 Labwindows/cV中使用C语言使用的是语言,并且为仪器方面的应用程序开发增加了许多语言所不具备的功能。在使用之前,需要有语言的基础,在中可以使用它提供的标准厍函数。1.2.2 Labwindows/GVI的程序结构大多数工程测控软件都包含如下内容虚拟仪器软件开发环境—一编程指南用户界面程序控制:数据采集数据分析它们之间的相互关系如图所示。图是应用程序的组成示意图。其中,用户界面、数据呆集和数据分析部分将必要的信息输入给程序控制部分进行处理,每个部分还可再分成若干个子部件用户界面数据采集数据分析面板格式化菜单数字信号处理对话框统计朴学图表数据采集曲线拟合硬拷贝输出仪器驱动程序数组操作程序控制控制逻辑数据存储图应用程序各部分的相互关系用户界面用用户界面编辑器能轻松地建立复杂的交互式面板。设计的过程中,开发人员常常要确定程序如何获取并显示薮据,对菜单、面板、控件和对话框如何操作等问题,因此用户界面自然成为程序设计的起点二、代码生成器生成程序框架在用户界面绽辑器中完成设计后,能够使用代码生成器自动生成基于组件的程序框架。代码生成器自动写出所有控件的回调函数的框架,创建主程序,从而在程序启动时加载并显示窗体。代码编辑器自动生成程序的通用代码,从而节省了人量的程序开发时间。、程序控制程序控制部分同薮据采集、数据分析和用户界面协调运作。它包括管理程序流程的控虚拟仪器软件开发环境—一编程指南制逻辑和用户定义的支持函数。大多数控制程序的代码是手写完成的,学习软件光盘中所提供的例稈,能够很好理解如何编写测控稈序的代码。注意例程中回调函数的使用,它可以大大简化应用流程的控制四、数据采集通常的测控程序必须对从仪器或数据采集()设备的数据采集进行控制,程序的其它部分是对这些数据进行分析和显示各种库提供用来创建数据采集部分的函数,用这些库函数控制和设备以及的数据采集设备。此外,仪器斥包括多种常用的和仪器的驱动程序。五、数据分析获取数据后经常需要进行分析。例如,可能要对数据进行格式化、归一化、信号处理、统计和曲线拟合。格式化和库、分析库高级分析库提供了完成这些操作的函数。1.3 LabWindows/CVI6.0的新特性和以前的版本相比有一些改进,并增添了一些功能:用户可以在用户界面编辑器中创建控件,并在的程序中对它进行控制,本书将在第章“使用控件”中介绍用户可以用中的向导创建或者编辑服务器,本书将在第章“创建服务器”中介绍。用户界面厍中包含了一系列新的搾件。另外,对先前版本原有的搾件和菜单也进行了修改,使其更加接近标准的控件,的控件将在第章的的控件”中介绍支持多字节字符的应用。另外,现在的标准库和仪器驱动程序的上具箱包含了用户可以调用的函数和宏,用户可以用它们实现包含多字节字符的语句。在源程序中书写中文不会像先前的版本那样出现乱码。源代码浏览器列出了程序中的所有的文件、函数、变量、数据类型以及宏。用户可以用这个浏览器了解到程序的一个部分如何与另一个部分相互作用,本书将在第章“源代码编辑工具”中介绍这部分内容。用户可以用图形数组浏览窗∏作为调试上具,以图形方式观察生成的维或二维数组,该部分内容将在第章“显示和编辑数据”中介绍。在中,用户可以将多个工程分组到一个工作台。所有关于工程的外来设置都受工作台的保护。使用工作台,使得在同一源代码设置下的多个开发人员更容易共享工程。用户可以在用户界面编辑器中俣存预宄设置好的用户界面控件,以后可以在用户界面面板中使用,本书将在第章“的控件”中介绍
- 2020-12-07下载
- 积分:1
-
一个获取磁盘信息MFC例子
获取磁盘信息MFC,希望可以帮到你.一个很好的例子.
- 2020-12-05下载
- 积分:1