数据共享交换平台产品白皮书
数据共享交换平台产品白皮书,实现核心业务应用之间的数据集成管理,设计数据平台系统的应用架构视图,加强数据服务及安全管理意识,通过标准、规范的技术路线对外提供统一接口服务。Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书目录服务安全支认证(信息资源目录管理、儿数据管掉服务网关理,导航服务)CaGR户数据交换平台 CenDXS数将式转确业务流程管理BPM管理控制流程定制、规则引擎)数据转换Message broker管理运行安全接口WebServices状态流程计企业服务总线ESB题数/分析路由服务 Routing services转换服务安全服务日志管理基内的点对点Plsb协议转换格式转换OMLFileauston)运行管理解密」[。地程后动/停止适配器服务消息通讯服务数据各份恢复同步/异步通信存储转发可靠传输逻地址与网络地址转换组件/厘务/系统多应次编码/解码加密解密调用身份验证签名断点续传分块传输序列化/反序列化负载均衡管理Qeue队列配置管理控制台配置维护发送接收传输服务适配器配置维护(可视化配置向导HTtP/ITpsiToP pMi File FtP Socket Wtonglink Web ServiceaL配置文件)节点适配器软件分发更码的女燃部的x油)节点适配器远程安装Cer?P DrCenDXs数据交换平台技术架构图CendXs数据共享交换平台的主要功能包括(一)目录服务数捱共享交换平台的共享资源目录服务系统包含目录服务和目录资源两部分内容1)日录服务提供日录、元数据注册、发布、审核、修改、维护以及编目服务等相关内容;2)目录资源通过将现有各类资源(元数据)的合理分类,重组资源,并通过 XML Tree以资溟导航树的方式完成资源目录服务系统的开发建设工作。(二)交换服务数捱交换服务是数据共享交换平台的核心,数据交换服务包括六部分:路由服务、转换服务、安全服务、消息通讯服务、发送接收服务、接入服务1、路由服务路由服务可使用像业务名称这样的地址,在服务之问路由消息,控制消息的Censoft美村料技数件中关数据共享父换平台( CenDXS)严品口皮书存储和分发,并对每个消息启动正确的处理流程;实现欻据交换路由解析功能,可实现数据的多步多级传输。1)路由可以是显式的:使用输入数据提供的帚式地址或昳像中的显式地址2)路由服务也可以是基内容的:分析输入数据或输出数据的内容以确定需要在哪里对输出进行路由;3)基于主题的消息路由,支持发布订阅机制:主题是消息月的地的字符串描述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩展性。2、转换服务转换服务包括协议转换、格式转换、数据转换,通过转换解决交换节点间协议差别、异构、数据项差异等问题。1)协议转换在请求方和服务方之间进行协议转换,解决异构系统之间由于通讯协议不同而不能联互通的问题2)格式转换在请求方和服务方之间进行消息格式转换,解决异构系统之间由于数据描述方式不同而不能互联互通的问题,解决不同企业应用程序的本体和浯义的异类问题支持各种主流关系型数据库之间的数据交换,如 Oracle、 SQL ServerDB2、 Sybase、 Access、 MYSQL等。支持数据表名称和字段名称转换,可以实现不同表名、字段名的数据表之间的数据交换3)数据转换指邐过数据项定乂功能,实现选择源数据表的仝部数据接入或先择源薮据表的部分字段接入;筛选数据记录或定义接入条件,实现以有符合条件的数据记录才被接入数据交换平台。数据表转换的实际内容是数据记录的拆分、组合,数据交换平台通过主健定义,多转换关系表定乂等环节,实现各种记录处理。Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书表对·表交换数据交换平台可以实现基本的一个数据表到一个数据表的交换,并且在一对交换中支持一个源数据表的一个记录的不同字段在目标表中生成两条或多条记录表对多表交换数据交换平台可以支持“一对多”交换。实现一个源数据表中的一条记录的不同字段组合交换为多个目标表中的记录。■多表对一表交换数据交换平台可以支持“多对一”交换。实现多个源数据表中的数据记录组合转换为一个目标表中的一条记录。3、安全服务能够基于产品自带的安全服务功能,对敏感信息交换进行MD5、DES、SSL加密,根据数据加密应用途径进行交换信息内窄的加密(可逆或不可逆),保障数据交换传输过稈中的安全。同时还将具有数据合法性验证功能,能够对交换平台与应用系统之间以及交换系统之间的两类合法性验证,确保数据可信交换。4、消息通讯服务MQ消息通讯服务为数据共享交换平台提供强健的消息中间件基础平台,它的主要功能如下1)支持同步或异步通信同步处理是指每一步骤必须等待下一步骤完成后才能继续进行;异步处理建立在系统间异步、基于消息的交互上,基于“存储转发”或消息队列服务,采用“松散耦合”的方式连接,这使得分布式系统具有更髙的可用性和可伸缩性即时传输毕丁事件驱动,由系统运行时动态产生和控制的会话方式。对丁没有网终占用时段限制或要求实时传输数据的交换可以定义为即时传输模式,即时传输模式可以将接入数据即时发送到接收节点。定时传输山系统定时器根据预设的定时策略产生和控制的会话方式。对于有网终占用时段限制或不要求实时传输数据的交换可以定义为定时传输模式,定时传输模式Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书可以在指定吋间将接入数据发送到接收节点。即时传输模式支持定点传输和指定间隔时间轮询启动传输■手工启动传输糸统运行时由用户手工产生和控制的会话方式。2)支持多种传输模式数据交换平台支持多种方式的数据分发,即可实现基于交换服务器的一对一的队列传输和一对多的发布订阅传输,也支持两个适配器的直接消息传输■订阅平台基于主题的消息路由,支持发布订阋机制:主题是消息目的地的字符串揹述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩展性队列平台支持队列方式,方便实现一点对一点的数据传输3)支持多通讯模式支持数据的发布/订阅、请求/应答通信模式;发布/订阅通信模式完全是一种“推”(Push)的技术;而请求/应答通信模式是对传统 Client/Server通信模式的支持,即支持“拉”(Pu〕技术。用户可以根据具体应用的信息处理流蓕来选择合适的信模式。推:点到点或点到多点的主动信息推送方式拉:点到点或点到多点的破动信息获取方式组播:在一个域或群组范围内的多点群发方式4)可靠传输支持断点续传、分块传输;保证消息传输一次且仅需传输一次,确保数据可靠传送。当以主题发布消息时,保证每个订阅者都可以接受到消息,而且每个订阅者只能接受一次。另外,由于发布老产生的消息是按时间顺序放在相当士队列的消息队列表中,可以保证按消息产生的时间序列依次发送,司样,也按时间序列接受和处理消息,所以,整个架构不仅可保证消息传递的可靠性而且可保证消思处理的时序性Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书5)事务支持发送方只有成功地发送消息时,才删除消息队列中的消息,否则回滚事务;只有在受到接收方确认消息( Point/ Point时)或所有订阅者确认消总( Publish/ Subscriber时)之后,才删除持久性存储的消息:接攻适酤器只有成功地将消息映像到目标数据库后,才给消息通讯服务器发送确认消息。6)解码/编码将数据转换到与数据交换平台相同的代码页,编码服务则可将输出数据的字符集编码为系统的代码页。7)数据压缩/加密解密攴持数据传输过程中的数据压缩伽加密处理,保证数据传输安全8)序列化/反序列化序列化服务获取输出数据结构并将其序列化到可通过网络传输的纯文本文件中,反序列化服务执行相反的操作。9)地址转换在分配给集成服务目的地的逻辑业务地址与网终协议所需要的网终坦址间转换。5、发送接收传输服务执行数据的传输或接收,提供JMS、 Webservices、FTP、 Http/httPs、IOP、RMI、rile、 Socket等多种方式数据传输。6、接入服务数捱共亨交换平台的接入包括采集接入(相关单位到中心基础数据库)和共亨接入(中心基础数据库到相关咩位),数据接入功能提供可视化配置与管理,支持多种接入方式和接入模式,支持基丁元数据的可视化数据接入1)接入方式数摭共享交换平台支持多种接入方式,接入方式包括中闫薮据表接入、原始系统表接入、文件目录树接入、 Web services接入、文解析接入、数搪表单接入等。可根据不同需要配置各种接入方式。中间数据表接入对于可以推送交换数据的节点,可采用肀间表接入方式接入,这种方式最简Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书单,接凵界面清晰,利于排查问题,并且可以保证原始系统不受交换平台的影响,保证原始系统数据的安仝。中旧薮据表接入方式即根据实际业务需要,定义所需交换数据的表结构,建立接口数据表,原始应用系统负责向接口表肀传送需要的数据,交换丬台负责将接口表中的数据交换到目标节点中叵数据表接入方式要求原始应用系统提供数据推送服务,每个接入节点的实施将有一定的工作量。■原始系统表接入对于不可以推送交换数据并对数据共享交换平台信仁的节点,可采用原始系统表接入方式接入,这种方式比较复杂,接口界面不清昕,不利于排查问题,并且涉及到原始系统数据库会受交换平台一定影响,要靠严格的授权机制来保证原始系统数据的安全原始系统表接入方式即根据实际业务需要,在原始应用系统数据表中沅择需要的数据项,自接交换到目标节点原妒系统表接入方式不要求原始应用系统提供数据推送服务,每个接入节点的实施工作量很小,可以方便的增加、减少数据表和数据项,但是需提供完整的原始系统表结构说明。文件目录树接入平台提供文件目录接入功能,可实现各节点间指定目录节点中文件的传输和同步,这种方式可简单的实现两台服务器间目录文件的同步。■ Web service接入平台提供 Web services接入接口,原始系统可通过调用 Web services接口将数据推送到交换平台,同时,交换平台也提供 Web services调用功能,通过调用原始系统的 Web services服务获得数据■文件解析接入平台提供文件解析接入功能,将系统或者其它方式生成的 Excel TXT、PDFDOC等各类格式的数据文件解析入库,再以数据库的方式交换。■数据表单接入为用户提供数据表单,用户直接在表单上输入数据,提交后系统直接入库并Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书传输。■GIS数据接入平台支持GIS数据的交换,GIS数据库中将存在Tab空间图像数据,平台将库中图像数据定义为标准的二走制数据文件(以 Blob Clob等模式通过底层二进制完成存储转发),借助JMS消息完成数据的交换服务■适配器模板服务接口数捱共亨交换平台能在以上各类通用接口的基础上,提供数据交换服务适配器模板,用户可根据模板形成特殊数据交换服务适配器组件的开发和使用2)接入适配器系统通过丰富约内置适配器和组件攴持上述的多种接入方式,各种适配器和组件的功能如适配器服务组件适配器/服务组件描述名称可监听多个文件月录;文件发送日志记录、查询;文件发文件发送适配器送回执的记录、查询;根据监听目录的不同,发送到不同的主题或队列上可同时监听不同的主题或队列;向发送方发送回执;文件文件接收适配器接收日志记录、查询。Excl文件解析适自动完成 Excel文件的解析和入库处理配器PDF文件解析适配自动完成PDF文件的解析和入库处理器TEXT文件解析适自动完成TEXT文件的解析和入库处理配器支持 Oracle、DB2、 MS SQL Server、 Sybase、 MySQL等多种主流数据库类型;自动生成和创建数据库接凵表、主键、数据库发送适配器索引;批处理(次可传送多条数据库纪录)的支持;支持非结构亿数据和大字段数据的处理8Censofit中美村斜技数件中关数据共亨父换平台( CenDXS)产品口皮书支持 Oracle、DB2、 MS SQL SErver、 Sybase、 MySQL等多种主流数据厍类型;自动生成和创建数据库接口表、主键据库接收适配器索引;批处理(一次可传送多条数据库纪录)的支持;支持非结构亿数据和大字段数据的处理专门为 CengrP门户CMS内容管理系统设计的适配器,可实坳不同蚱点、不同栏目之间的数捃传输、射、转换和CMS内容管理适同步功能。传输的模型可以是一个上级节点以主题的方式配器发布传输的栏日,多个下级节点以订阅的方式接受;也可以是不同节点(无论上级节点还是下级节点)之间的CMS数据的互相传接。专门为 CengrP门设计的适配器,通过 Portlet可调用门户适配组件CeIdXs数据交换服务。目录服务适配组件提供通过目录服务系统调用数据交换服务的接口适配组件Webservices服务提供数据交换Web服务接口、文件交换web服务接口等适配组件Web services服外适配组件JMS消息系统适配连接JMS消息系统组件提供 Http/httPs、FTP、 TCP Sockets、SOAP、RMI、SMS工具组件等多种协议接口工具组件,向应用系统发送请求或接收响3)触发模式数捱共亨交换平台对各种接入数据的传送触发提供三种模式:数据库触发器触发模式、数据库轮询触发模式、目录监听触发模式。数据库触发器对于支持触发器的数据厍,可以米用触发器触发模式,原始数据的任何变化都可以触发接入动作,实现即时的数据接入。■数据库轮询对于不支持触发器、数据采集时间受限制(如:白天的上下午不能影响业务
- 2020-11-02下载
- 积分:1
基于LMS 算法的多麦克风降噪
武汉理工大学 信息处理课设 基于LMS 算法的多麦克风降噪 给定主麦克风录制的受噪声污染的语音信号和参考麦克风录制的噪声,实现语音增强的目标,得到清晰的语音信号。2007控制科学与工程全国博士生学术论坛2007年8月其中日为语音信号与麦克风阵列所在平面的夹角,d为麦克风间距,c为声音传播速度,f为信号采样率。固定波束形成器通过延时求和单元产生参考语音信号y(n),y(n)与y(m)分别代表期望语音信号与噪声信号。y,(n)4x(m)=y(m)+y/(m(3)信号通过阻塞矩阵产生噪声参考信号用来估计波束形成输出信号中的噪声成分。选取B使其中任意行向量之和为零,即任意行向量线性无关。为了进一步降低噪声参考信号中的语音泄漏,参考文献“提出了用自适应阻塞矩阵替代固定阻塞矩阵的方法。ynly2nMM-[nJ]=BLun], u2n],umn自适应噪声抵消器ANC通过对输入噪声参考信号进行自适应滤波处理抵消了参考信号y,(m)中的噪声成分,得到增强的语音信号。em]=y[m-∑nnl3LMS自适应算法及改进31LMS自适应算法GSC架构中的自适应噪声抵消器ANC需要用增强的语音信号作为反馈对滤波器权值进行自适应更新。很多自适应算法基于LMS及其改进形式, Clark提出的块LMS算法使得滤波器的自适应逐块更新而非传统LMS滤波器逐点更新4, HOSHUYAMA、 Kellermann分别提出的基于范数约束自适应算法的权值更新,以及频域无约束实现。这些算法基本结构如图2所示y(n-1)(n-L+1)wo(ne(ny/(n)图2自适应横向滤波器结构图图2为图1中的M-1路L阶多通道自适应噪声对消器中某一路的展开形式,其抽头输入向量为[ym]yn-]yn-L+1],对应的抽头权向量为wmwn]w-]。LMS算法的梯度向量通过G2007控制科学与工程全国博士生学术论坛2007年8月计算抽头输入相关矩阵R和抽头输入与期望响应间互相关向量p得到VJ(n)=-2p+2Rv(m),将R和p的瞬态估计R(n)=y(m)y"(n),p(n)=y(n)y/(m)代入,得出梯度向量的瞬态估计:VJ(n)=-2y(n)y, (n+2y(n)y"(n)w(n)进而推出LMS算法权值更新公式为w(n+1)=w(n)+uy(n)Ly(n)-y"(n)w(n)32基于稳态噪声的自适应算法改进考查图2中具有L个抽头权值的LMS算法,抽头权值与抽头输入一一对应。在传统的逐点更新LMS算法中,每计算一个输出需要L次乘法,而更新一次抽头权值也需要L次乘法,故每次迭代需要2L次乘法。对于L个输出样值,所需要的乘法次数为2次。针对传统LMS算法复杂度高的缺点,Ca利用离散傅立叶变换在频域完成滤波器系数的自适应提出了快速块LMS箅法, Ann Spriet在此基础上通过改进LMS算法中的步长矩阵进一步降低了算法复杂度以上LMS算法改进均在图2的横向滤波器架构下进行,即抽头权值与抽头输入一一对应。考虑到稳态噪声的特点,本文提出了“一对多”的滤波器抽头权值更新算法,即L个输入样值共享一个滤波器权值。如此M路多麦克风语音增强系统中的ANC滤波器权值便由(M-1)×L维矩阵W[n=[w[η],n2[rl…wM-[r],其中H[n]=[won],w1[nw-r]退化为(M-1)×1维向量n]=[wryw2n],M-m]j。改进算法权值更新公式为w(n+D)=w(n)+uBu(nu"(n)[A-Bw(n)其中B为阻塞矩阵,A为固定波束形成器,为步长,U(n)为LxM维输入信号。与传统的“一对一”LMS滤波器相比,“一对多”结构在降低算法复杂度的同时,牺牲了前者具有的时间域严格对齐的特性。为降低这一缺点对系统降噪性能的影响,应在频域进行噪声对消,改进算法的多麦克风语音增强系统结构如图3所示。e(n)(n)B Yn图3改进的噪声消除算法结构图3中用虚线框表示可选滤波器权值w。由于实际应用中语音泄漏的存在,在参考语音信号中加入v能有效补偿由语音泄漏引起的语音崎变⑩。实际应用中由于阻塞矩阵输出不可避免的存在语音泄4642007控制科学与工程全国博士生学术论坛2007年8月漏,为了避免期望信号的消除,箅法中加入语音活动检测单元89,当前帧为噪声时更新滤波器系数,当前帧为语音信号时,滤波器系数不变33算法复杂度比较表1列出了本文算法与其他几种噪声消除算法之间算法复杂度的比较。我们采用实数乘法运算次数作为衡量算法复杂度的标准,每个N点傅立叶变换或其反变换需要Mlog2N次实数乘法运算。传统逐点LMS算法在时间域逐点更新滤波器权值。快速块LMS算法与多通道 Wiener算法通过FFT快速循环卷积特性实现LMS中的线性卷积运算,从而降低算法复杂度。本文算法在此基础上通过改进滤波器抽头权值更新算法进一步降低运算复杂度。由表1可见,当麦克风数目M4,L=32时,本文算法与多通道 Wiener滤波算法相比,R(3M+2)FT+8ML+2M63M+2)+4M2+6M_172(M+2)FFT+2ML6(M+2)+M40°文算法运算量降低了4倍左右。表1算法复杂度比较算法名称算法复杂度传统逐点LMS算法2ML快速块LMS算法(41(3M+2)FFT+16ML多通道 Wiener滤波算法53M+2)FFT+8M2+12M本文提出的算法(M+2)FF+2M…图4a)麦克风采集到的原始信号b)采用快速块LMS算法处理后的信号[4]c)采用多通道 Wiener滤波算法[10处理后的信号d采用本文算法处理后的信号4实验结果与分析实验采用线性排列的4个间距为4厘米的麦克风组成的语音采集系统,采样率为44KHZ,说话人位于阵列的正前方,噪声为稳态噪声,其与麦克风阵列法线所夹角度为50度。图4比较了麦克风采集到的信号、采用本文算法处理后的语音信号以及采用其他主流语音增强算法处理后的语音信号的时域波形。由4652007控制科学与工程全国博士生学术论坛2007年8月图4可见采用本文算法处理的语音信号背景噪声有明显降低。为进一步分析各种语音增强算法消噪能力,分别按照公式9计算各算法输出信号的信噪比,其中k代表帧序列号,N代表噪声,Y代表输出语音信号,L为帧长。∑(Y(k,2)2-|N(k,)SNRou(E)=10 log,o∑1MV6)图5釆用各箅法输出信号信噪比与输入信号信噪比之差来衡量噪声降低程度。由图5看出,在本文算法基础上在参考通道中加入可选滤波器权值能够进一步消除背景噪声,提高输出信噪比。苯文鲜法(使用权值w)木文好法未使用权值y块LMS算法Frame Number图5信噪比增强对比5结论本文在稳态噪声的前提下,提出了一种基于广义旁瓣消除器架构具有低算法复杂度的噪声消除算法,该算法通过改进LMS滤波器权值更新算法来达到降低算法复杂度的目的。实验结果证明,在稳态噪声环境下,该方法降噪性能优于传统LMS算法,同时有效降低了传统算法的算法复杂度。在现实生活中一些存在稳态噪声的场合,如发动机舱、厂房等该算法具有很强的实用价值。参考文献[U]LJ. Griffiths and C. W. Jim []. "An altemative approach to linearly constrained adaptive beamforming, IEEE Trans. AntennasProcess., voL. AP-30, no. I, pp 27-34, Jan. 1982.[2]0. Hoshuyama, A Sugiyama, and A Hirano [J]. "A robust adaptive beamformer for microphone arrays with a blocking matrixusing constrained adaptive filters, "IEEE Trans. Signal Process. vol 47, pp. 2677-2683, Oct. 1999[3]W. Herbordt and W Kellermann [J]. " Frequency-domain integration of acoustic echo cancellation and a generalized sidelobecanceller with improved robustness, "Eur. Trans. Telecommun., voL. 13, no 2, pp 123-132, Mar. -Apr. 2002.[4]Clark. G.A., S K Mitra, and S.R. Parker [J]. Block implementation of adaptive digital filters, "IEEE Trans. Circuits Syst,voL. CAS-28,PP584-592.1981.[5]Ann Spriet, Jan Wouters, Simon Doclo, Marc Moonen, "Frequency-Domain Criterion for the Speech Distortion WeightedMultichannel Wiener Filter for Robust Noise Reduction", Ap: //ftp. esat kuleuven. ac, be/pub/SISTA/doclo/reports/04-240 pdf[6JH. Buchner, J. Benesty, W. Kellermann J]. Generalized multichannel frequencydomain adaptive filtering: efficient realizationand application to hands free speech communication", Signal Processing 85(3), PP 549-570. 2005[7]W.Herbordt and W. Kellermann [A]. " Efficient Frequency-domain realization of robust generalized sidelobe cancellers", IEEE4662007控制科学与工程全国博士生学术论坛2007年8月Fourth workshop, multimedia signal Processing, PP. 377-382 2001[8]S. Van Gerven, F. Xie [J. "A Comparative Study of Speech Detection Methods", Proc. EUROSPEECH, VoL 3, Rhodos, Greecepp.1095-1098.1997[9]J Sohn, N.S.Kim, W Sung [] A Statistical Model-Based Voice Activity Detection", IEEE Signal Processing Lett. 6(1)1-31999[10]A Spriet, M. Moonen, J Wouters[]. Robustness Analysis of Multi-channel wiener Filtering and generalized sidelobeCancellation for Multi-microphone Noise Reduction in Hearing Aid Applications", IEEE Trans. Speech and Audio Processing, 13(4)PP.487-503.2005[IlJFerrara, E R r [] Fast implementation of LMS adaptive filters", IEEE Trans. Acoust. Speech Signal Process,voL.ASSP-28pp474-475.1980[12]S. Doclo and M. Moonen[J]. " Multi-microphone noise reduction using recursive GSVD-based optimal filtering with ANCpostprocessing stage, "IEEE Trans. Speech Audio Process., vol. 13, no. 1,Pp 53-69, Jan. 2005[13]Philipos C Loizou [J]. "Speech Enhancement Based on Perceptually Motivated Bayesian Estimators of the MagnitudeSpectrum" IEEE TRANSACTIONS ON SPEECH AND AUDIO PROCESSING, VOL 13, NO 5, Pp.857-869, 2005种新的基于稳态噪声的噪声消除算法旧WANFANG DATA文献链接作者:董鹏宇,朱子元,林涛作者单位:同济大学超大规模集成电路研究所,上海20009本文链接http://d.g.wanfangdata.comcn/confereNce6584700.aspx
- 2020-11-28下载
- 积分:1