数据共享交换平台产品白皮书

数据共享交换平台产品白皮书,实现核心业务应用之间的数据集成管理，设计数据平台系统的应用架构视图，加强数据服务及安全管理意识，通过标准、规范的技术路线对外提供统一接口服务。Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书目录服务安全支认证(信息资源目录管理、儿数据管掉服务网关理,导航服务)CaGR户数据交换平台 CenDXS数将式转确业务流程管理BPM管理控制流程定制、规则引擎)数据转换Message broker管理运行安全接口WebServices状态流程计企业服务总线ESB题数/分析路由服务 Routing services转换服务安全服务日志管理基内的点对点Plsb协议转换格式转换OMLFileauston)运行管理解密」[。地程后动/停止适配器服务消息通讯服务数据各份恢复同步/异步通信存储转发可靠传输逻地址与网络地址转换组件/厘务/系统多应次编码/解码加密解密调用身份验证签名断点续传分块传输序列化/反序列化负载均衡管理Qeue队列配置管理控制台配置维护发送接收传输服务适配器配置维护(可视化配置向导HTtP/ITpsiToP pMi File FtP Socket Wtonglink Web ServiceaL配置文件)节点适配器软件分发更码的女燃部的x油)节点适配器远程安装Cer?P DrCenDXs数据交换平台技术架构图CendXs数据共享交换平台的主要功能包括(一)目录服务数捱共享交换平台的共享资源目录服务系统包含目录服务和目录资源两部分内容1)日录服务提供日录、元数据注册、发布、审核、修改、维护以及编目服务等相关内容;2)目录资源通过将现有各类资源(元数据)的合理分类,重组资源,并通过 XML Tree以资溟导航树的方式完成资源目录服务系统的开发建设工作。(二)交换服务数捱交换服务是数据共享交换平台的核心,数据交换服务包括六部分:路由服务、转换服务、安全服务、消息通讯服务、发送接收服务、接入服务1、路由服务路由服务可使用像业务名称这样的地址,在服务之问路由消息,控制消息的Censoft美村料技数件中关数据共享父换平台( CenDXS)严品口皮书存储和分发,并对每个消息启动正确的处理流程;实现欻据交换路由解析功能,可实现数据的多步多级传输。1)路由可以是显式的:使用输入数据提供的帚式地址或昳像中的显式地址2)路由服务也可以是基内容的:分析输入数据或输出数据的内容以确定需要在哪里对输出进行路由;3)基于主题的消息路由,支持发布订阅机制:主题是消息月的地的字符串描述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩展性。2、转换服务转换服务包括协议转换、格式转换、数据转换,通过转换解决交换节点间协议差别、异构、数据项差异等问题。1)协议转换在请求方和服务方之间进行协议转换,解决异构系统之间由于通讯协议不同而不能联互通的问题2)格式转换在请求方和服务方之间进行消息格式转换,解决异构系统之间由于数据描述方式不同而不能互联互通的问题,解决不同企业应用程序的本体和浯义的异类问题支持各种主流关系型数据库之间的数据交换,如 Oracle、 SQL ServerDB2、 Sybase、 Access、 MYSQL等。支持数据表名称和字段名称转换,可以实现不同表名、字段名的数据表之间的数据交换3)数据转换指邐过数据项定乂功能,实现选择源数据表的仝部数据接入或先择源薮据表的部分字段接入;筛选数据记录或定义接入条件,实现以有符合条件的数据记录才被接入数据交换平台。数据表转换的实际内容是数据记录的拆分、组合,数据交换平台通过主健定义,多转换关系表定乂等环节,实现各种记录处理。Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书表对·表交换数据交换平台可以实现基本的一个数据表到一个数据表的交换,并且在一对交换中支持一个源数据表的一个记录的不同字段在目标表中生成两条或多条记录表对多表交换数据交换平台可以支持“一对多”交换。实现一个源数据表中的一条记录的不同字段组合交换为多个目标表中的记录。■多表对一表交换数据交换平台可以支持“多对一”交换。实现多个源数据表中的数据记录组合转换为一个目标表中的一条记录。3、安全服务能够基于产品自带的安全服务功能,对敏感信息交换进行MD5、DES、SSL加密,根据数据加密应用途径进行交换信息内窄的加密(可逆或不可逆),保障数据交换传输过稈中的安全。同时还将具有数据合法性验证功能,能够对交换平台与应用系统之间以及交换系统之间的两类合法性验证,确保数据可信交换。4、消息通讯服务MQ消息通讯服务为数据共享交换平台提供强健的消息中间件基础平台,它的主要功能如下1)支持同步或异步通信同步处理是指每一步骤必须等待下一步骤完成后才能继续进行;异步处理建立在系统间异步、基于消息的交互上,基于“存储转发”或消息队列服务,采用“松散耦合”的方式连接,这使得分布式系统具有更髙的可用性和可伸缩性即时传输毕丁事件驱动,由系统运行时动态产生和控制的会话方式。对丁没有网终占用时段限制或要求实时传输数据的交换可以定义为即时传输模式,即时传输模式可以将接入数据即时发送到接收节点。定时传输山系统定时器根据预设的定时策略产生和控制的会话方式。对于有网终占用时段限制或不要求实时传输数据的交换可以定义为定时传输模式,定时传输模式Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书可以在指定吋间将接入数据发送到接收节点。即时传输模式支持定点传输和指定间隔时间轮询启动传输■手工启动传输糸统运行时由用户手工产生和控制的会话方式。2)支持多种传输模式数据交换平台支持多种方式的数据分发,即可实现基于交换服务器的一对一的队列传输和一对多的发布订阅传输,也支持两个适配器的直接消息传输■订阅平台基于主题的消息路由,支持发布订阋机制:主题是消息目的地的字符串揹述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩展性队列平台支持队列方式,方便实现一点对一点的数据传输3)支持多通讯模式支持数据的发布/订阅、请求/应答通信模式;发布/订阅通信模式完全是一种“推”(Push)的技术;而请求/应答通信模式是对传统 Client/Server通信模式的支持,即支持“拉”(Pu〕技术。用户可以根据具体应用的信息处理流蓕来选择合适的信模式。推:点到点或点到多点的主动信息推送方式拉:点到点或点到多点的破动信息获取方式组播:在一个域或群组范围内的多点群发方式4)可靠传输支持断点续传、分块传输;保证消息传输一次且仅需传输一次,确保数据可靠传送。当以主题发布消息时,保证每个订阅者都可以接受到消息,而且每个订阅者只能接受一次。另外,由于发布老产生的消息是按时间顺序放在相当士队列的消息队列表中,可以保证按消息产生的时间序列依次发送,司样,也按时间序列接受和处理消息,所以,整个架构不仅可保证消息传递的可靠性而且可保证消思处理的时序性Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书5)事务支持发送方只有成功地发送消息时,才删除消息队列中的消息,否则回滚事务;只有在受到接收方确认消息( Point/ Point时)或所有订阅者确认消总( Publish/ Subscriber时)之后,才删除持久性存储的消息:接攻适酤器只有成功地将消息映像到目标数据库后,才给消息通讯服务器发送确认消息。6)解码/编码将数据转换到与数据交换平台相同的代码页,编码服务则可将输出数据的字符集编码为系统的代码页。7)数据压缩/加密解密攴持数据传输过程中的数据压缩伽加密处理,保证数据传输安全8)序列化/反序列化序列化服务获取输出数据结构并将其序列化到可通过网络传输的纯文本文件中,反序列化服务执行相反的操作。9)地址转换在分配给集成服务目的地的逻辑业务地址与网终协议所需要的网终坦址间转换。5、发送接收传输服务执行数据的传输或接收,提供JMS、 Webservices、FTP、 Http/httPs、IOP、RMI、rile、 Socket等多种方式数据传输。6、接入服务数捱共亨交换平台的接入包括采集接入(相关单位到中心基础数据库)和共亨接入(中心基础数据库到相关咩位),数据接入功能提供可视化配置与管理,支持多种接入方式和接入模式,支持基丁元数据的可视化数据接入1)接入方式数摭共享交换平台支持多种接入方式,接入方式包括中闫薮据表接入、原始系统表接入、文件目录树接入、 Web services接入、文解析接入、数搪表单接入等。可根据不同需要配置各种接入方式。中间数据表接入对于可以推送交换数据的节点,可采用肀间表接入方式接入,这种方式最简Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书单,接凵界面清晰,利于排查问题,并且可以保证原始系统不受交换平台的影响,保证原始系统数据的安仝。中旧薮据表接入方式即根据实际业务需要,定义所需交换数据的表结构,建立接口数据表,原始应用系统负责向接口表肀传送需要的数据,交换丬台负责将接口表中的数据交换到目标节点中叵数据表接入方式要求原始应用系统提供数据推送服务,每个接入节点的实施将有一定的工作量。■原始系统表接入对于不可以推送交换数据并对数据共享交换平台信仁的节点,可采用原始系统表接入方式接入,这种方式比较复杂,接口界面不清昕,不利于排查问题,并且涉及到原始系统数据库会受交换平台一定影响,要靠严格的授权机制来保证原始系统数据的安全原始系统表接入方式即根据实际业务需要,在原始应用系统数据表中沅择需要的数据项,自接交换到目标节点原妒系统表接入方式不要求原始应用系统提供数据推送服务,每个接入节点的实施工作量很小,可以方便的增加、减少数据表和数据项,但是需提供完整的原始系统表结构说明。文件目录树接入平台提供文件目录接入功能,可实现各节点间指定目录节点中文件的传输和同步,这种方式可简单的实现两台服务器间目录文件的同步。■ Web service接入平台提供 Web services接入接口,原始系统可通过调用 Web services接口将数据推送到交换平台,同时,交换平台也提供 Web services调用功能,通过调用原始系统的 Web services服务获得数据■文件解析接入平台提供文件解析接入功能,将系统或者其它方式生成的 Excel TXT、PDFDOC等各类格式的数据文件解析入库,再以数据库的方式交换。■数据表单接入为用户提供数据表单,用户直接在表单上输入数据,提交后系统直接入库并Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书传输。■GIS数据接入平台支持GIS数据的交换,GIS数据库中将存在Tab空间图像数据,平台将库中图像数据定义为标准的二走制数据文件(以 Blob Clob等模式通过底层二进制完成存储转发),借助JMS消息完成数据的交换服务■适配器模板服务接口数捱共亨交换平台能在以上各类通用接口的基础上,提供数据交换服务适配器模板,用户可根据模板形成特殊数据交换服务适配器组件的开发和使用2)接入适配器系统通过丰富约内置适配器和组件攴持上述的多种接入方式,各种适配器和组件的功能如适配器服务组件适配器/服务组件描述名称可监听多个文件月录;文件发送日志记录、查询;文件发文件发送适配器送回执的记录、查询;根据监听目录的不同,发送到不同的主题或队列上可同时监听不同的主题或队列;向发送方发送回执;文件文件接收适配器接收日志记录、查询。Excl文件解析适自动完成 Excel文件的解析和入库处理配器PDF文件解析适配自动完成PDF文件的解析和入库处理器TEXT文件解析适自动完成TEXT文件的解析和入库处理配器支持 Oracle、DB2、 MS SQL Server、 Sybase、 MySQL等多种主流数据库类型;自动生成和创建数据库接凵表、主键、数据库发送适配器索引;批处理(次可传送多条数据库纪录)的支持;支持非结构亿数据和大字段数据的处理8Censofit中美村斜技数件中关数据共亨父换平台( CenDXS)产品口皮书支持 Oracle、DB2、 MS SQL SErver、 Sybase、 MySQL等多种主流数据厍类型;自动生成和创建数据库接口表、主键据库接收适配器索引;批处理(一次可传送多条数据库纪录)的支持;支持非结构亿数据和大字段数据的处理专门为 CengrP门户CMS内容管理系统设计的适配器,可实坳不同蚱点、不同栏目之间的数捃传输、射、转换和CMS内容管理适同步功能。传输的模型可以是一个上级节点以主题的方式配器发布传输的栏日,多个下级节点以订阅的方式接受;也可以是不同节点(无论上级节点还是下级节点)之间的CMS数据的互相传接。专门为 CengrP门设计的适配器,通过 Portlet可调用门户适配组件CeIdXs数据交换服务。目录服务适配组件提供通过目录服务系统调用数据交换服务的接口适配组件Webservices服务提供数据交换Web服务接口、文件交换web服务接口等适配组件Web services服外适配组件JMS消息系统适配连接JMS消息系统组件提供 Http/httPs、FTP、 TCP Sockets、SOAP、RMI、SMS工具组件等多种协议接口工具组件,向应用系统发送请求或接收响3)触发模式数捱共亨交换平台对各种接入数据的传送触发提供三种模式:数据库触发器触发模式、数据库轮询触发模式、目录监听触发模式。数据库触发器对于支持触发器的数据厍,可以米用触发器触发模式,原始数据的任何变化都可以触发接入动作,实现即时的数据接入。■数据库轮询对于不支持触发器、数据采集时间受限制(如:白天的上下午不能影响业务