当前位置:首页 >> 计算机硬件及网络 >>

水资源数据交换解决方案V3


水资源数据交换解决方案

1、项目概述 实行最严格水资源管理制度的关键是围绕水资源配置、 节约和保护, 确立水资源管理三 条红线,建立水资源管理责任制和考核制度,确保水资源管理目标的实现。全面实行最严格 的水资源管理制度, 必须加强水资源监控设施建设, 实时掌握来水、 取水、 用水和排水动态, 保证第一手信息的准确性、 科学性和精细化, 为最严格水资源管理制度考核提供手段和依据。 实行最严格的水资源管理制度,目前的关键是解决水资源管理基础薄弱的问题。 水利部组织编制了 《国家水资源监控能力建设项目实施方案》 , 提出利用三年左右时间, 开展国家水资源监控能力建设项目, 初步形成与实行最严格水资源管理制度近期目标相适应 的国家水资源监控能力,为支撑水资源管理定量考核工作奠定基础。 国家水资源监控能力建设项目建设内容以国控监测点的在线监测与传输能力建设和中 央、流域、省三级监控管理信息平台建设为重点,构建包括针对 8558 个规模以上取用水、 4493 个重要水功能区、 789 个省界断面和重要控制断面等国控监测点组成的国家水量水质在 线监测数据采集传输网络(不包括土建工程) ;构建包括 1 个中央平台、7 个流域平台和 32 个省级平台(含 31 个省、自治区、直辖市和新疆生产建设兵团)组成的国家水资源监控管 理平台。 2、现状与需求分析 2.1、现状 目前水利相关组织架构与建设体系逐步完善,从“十一五”到“十二五”过程中,将逐 步建设围绕水利核心业务的工程项目。 网络环境建设方面,已经建成了连接水利部与 7 个流域机构、32 个省级水利部门的全 国水利政务外网的骨干网和水利部连接水利部在京直属单位、7 个流域机构的水利政务内网, 各流域机构、省(自治区、直辖市)水利部门均建成了部门内的政务外网(或政务内网)局 域网,流域机构到所属单位的政务外网广域网基本建成,18 个省(直辖市)已建成至各地 (市)水利局、直属单位的政务外网广域网。

2.2、平台接入系统分析 在本项目系统建设过程当中,涉及到众多的业务系统,此处虽无法全部列出,但从不同 维度可以对各种业务系统进行分类分析,从中归纳出各类业务系统/业务对象的接入特点。 2.2.1、建设时间维度 以建设时间维度来分析, 各类接入业务系统可以分为已建、 待建或在建以及规划中三类。 建设时间的不同将决定各个接入业务系统与数据交换平台之间的对接方式不同。 对于已 建的业务系统, 数据交换平台应以兼容性的接入方式为主, 尽量以低侵入的方式减少对已建 系统的变更影响; 对于在建或待建的业务系统, 数据交换平台可以通过建议和规划的方式为 系统提供对接的接口,以其与业务系统实现无缝集成;对于规划中的业务系统,数据交换平 台应提供可扩展的接口支持, 并制定相应的技术接口规范, 以便于后续业务系统的规划和架 构。 2.2.2、系统类型维度 此处“系统类型”主要是从交换共享业务所需信息资源的存储位置角度来定义系统。从 整体上来分,本期项目所涉及的业务系统可分为部级、流域级、省级。 部、流域、省三级结构的业务系统是指采用部级、流域级、省级三级部署架构的业务系 统;各级独立结构的业务系统是指现阶段在每一级已经在用的的业务系统。 经过调研目前已经完成系统建设的省份是江苏省,其他部级、流域级、省级信息平台都 未建设。 2.3、平台交互场景分析 平台交换场景分析了数据交换平台与各接入系统之间的交换关系, 说明了业务系统之间 通过数据交换平台所完成的业务流程。 2.3.1、横向数据交换 每一级业务系统之间的横向内部数据交换, 需要通过业务数据库和数据交换平台来实现。 横向场景是指,在部级节点、流域节点、省级节点的水资源信息平台都需要和水利部其他业 务系统(例如:防汛抗旱、水资源电子政务等)做数据采集,即将外部业务系统数据采集进 入信息平台数据库。 以部级业务系统为例。 目前看到的横向数据交换更多的是单向的数据汇

总。 2.3.2、纵向数据交换 部、流域、省三级的业务系统之间的纵向交换,需要通过部、流域、省三级的交换数据 库来实现。异地数据交换方式实现了部、流域、省三级业务数据的交换。包括数据上传与数 据下发两部分: 数据上传是指流域节点、省级节点将水资源数据上传至部级节点,即流域、省级信息平 台数据库与部级信息平台数据的交换。 数据下发是部级节点将数据下发至指流域节点、省级节点,即部级信息平台与流域、省 级信息平台数据库的交换。 以部级与流域纵向的数据交换为例,交换场景分为: ? 流域级业务系统向部级业务系统上报数据

流域级业务系统根据部级系统的要求定时或实时的将数据信息通过数据交换平台进行 上报。 ? 部级业务系统向流域级业务系统下发数据

流域级业务系统可以通过数据交换平台向部级业务系统申请共享数据, 部级业务系统通 过数据交换平台将共享数据下发给流域级系统。 2.3.3、内外网数据交换 数据内外网交互场景是考虑到水利数据不能在流域、 省级节点内外网之间直接交互数据, 数据流是流域、 省级节点外网先上传至部级节点外网, 然后在部级节点内网、 外网通过网闸、 或者物理刻盘方式传输到内网,然后在内网做数据下发。反之亦然 2.4、平台交互数据分析 在不同交互场景之中, 平台能够提供的交互内容和方式按照不同维度来分, 可以分为以 下若干种类。 交互数据类型分析图示,如下图:

2.5、平台隔离性分析 数据交换平台独立于各业务系统的业务逻辑, 数据交换平台与现有的业务系统再交互上 保持相互隔离和透明, 数据交换平台对现有业务系统没有影响或尽量减少影响。 在此基础上 扩充增加业务系统, 不影响数据交换平台的基础架构。 考虑到平台隔离性需要引入前置概念, 由前置库、交换库来屏蔽数据交换平台与业务系统的紧耦合。 2.6、平台统一性分析 在本项目中需要数据交换平台需要制定统一的交换协议和数据规范, 能够约束与规范平 台与业务系统的数据交换。 在进行数据交换时, 连接到数据交换平台的各个业务系统遵循统 一的标准。统一性的要求有利于在各种业务系统之间、异构数据库之间、不同网络系统之间 提供整合手段,保证整个数据交换平台的数据一致性,便宜管理和监控,简化各个业务系统 与交换平台互联的开发量。采用数据交换平台方式搭建,有效方式就是建设标准交换库。 2.7、平台扩展性分析 数据交换与共享平台在完成本期项目建设目标和任务的基础上, 还应当着眼 “水资源建 设体系”的整体规划,为体系内业务系统的持续建设与发展提供基础性的技术支撑,并对可

预见的平台扩展性需求进行分析和考虑。 主要体现在三级业务系统的横向扩展、 三级级业务 系统的纵向扩展以及随着规模和业务量的扩大所进行的平台升级和加固。 2.7.1、横向扩展 ? 兼容已建的业务系统

对于水利其他项目已经建设完成的业务系统, 数据交换与共享平台应有能力提供系统接 入和数据交换的功能支持,以适应已建系统的业务扩展。 ? 为待建的业务系统提供支持

对于本项目在建或待建的业务系统, 数据交换与共享平台可以提供规范性的数据交换接 口以及数据交换标准规范,为业务系统建设提供参考性意见,并能够对其进行系统接入,为 其提供数据交换与共享服务。 2.7.2、纵向扩展 ? 流域级业务系统的接入策略

数据交换平台应当考虑接入流域级信息平台不同业务逐步需要接入到部级信息平台的 接入支持。 ? 省级业务系统的接入策略

数据交换平台应当考虑接入省级信息平台不同业务逐步需要接入到部级信息平台的接 入支持。 2.8、平台跨平台运行分析 随着业务系统规模的不断扩大,必然会涉及硬件平台需要升级,在硬件系统升级时,数 据交换平台需要平滑过渡。随着业务扩展,系统升级,所有的处理过程,包括程序代码均不 需要做任何修改,即可平滑的迁移到新的平台上。同时,数据交换平台能够适应各个部门的 各种软硬件平台。 2.9、平台功能需求分析 数据交换平台建设完毕后要纵向打通部、流域、省三级信息平台信息交换,横向打通防 办、水文局、外部业务系统的信息交换。不管是纵向还是横向数据交换都需要交换平台具有

如下功能: ? ? ? ? ? ? ? 数据采集功能 数据管理功能 数据交换功能 数据共享功能 应用集成整合功能 数据安全功能 平台扩展功能

3、建设内容 本项目数据交换平台建设建设内容是: 数据交换平台连接中央信息平台、 流域信息平台、 省级信息平台以及其他政府部门单位, 在纵横双向广域网络上以星型拓扑结构实现业务数据 的交换、同步,形成统一共享的数据中心。在纵向上可以由数据交换管理平台定时或实时地 从下级节点取得数据, 通过消息中间件向上级节点作业务数据汇总, 上级节点的集成中间件 取得数据,经过加工处理,送入相应节点的数据库。同时横向各相关委办局外部应用系统在 进行数据交换和共享时通过数据采集工具提供的各种适配器将不同业务系统接入, 并进行业 务整合。 4、总体设计方案 4.1、平台总体架构 根据本期项目的业务要求和应用特点, 提出的交换与共享平台方案, 应立足为水资源的 建设提供一个“基础化、可复用”的平台交换设施,交换平台将考虑未来为更多数据共享提 供支撑与整合。 数据交换与共享平台在设计实现上充分考虑了以下主要因素: 首先其符合国家对交换信 息资源交换管理的相关标准和规范;其次,采用先进的技术设计实现,包括多层设计的中间 件技术体系等; 再次, 吸收目前东方通在政务资源交换与管理实施方面的经验和对一些技术 实现的可行性验证,在平台设计上做到客观、实际、以满足业务应用需求为主导;最后,设

计实现的方式完全基于东方通现有集成中间件产品,具有完整的自有知识产权。

平台整体上分为部级、流域级、省级两级部署方式,整体解决方案重点强调对整体数据 交换过程的松耦合、统一规范、可扩展、可管理。 部级的数据交换平台由数据交换管理平台 TongDXP、 消息中间件 TongLINK/Q、 数据采集 工具 TongIntegrator、部级前置数据库组成。其中数据交换管理平台 TongDXP、消息中间件 TongLINK/Q、数据采集工具 TongIntegrator 三个部分是平台的核心组成部分,部级前置数 据库是平台中间数据的承载部分,是平台的重要补充。流域级、省级数据交换部分和部级数 据交换部分配置相同。 在纵向上,以部级、流域、省两级交换库构成了基础的数据同步架构,两级平台通过数 据交换管理平台 TongDXP 完成上下级交换库之间的数据交换管理,消息中间件 TongLINK/Q 保障跨网络数据传输的安全。在节点交换库与节点信息平台数据库之间采用数据采集工具 TongIntegrator 完成数据采集、转换、加载、入库过程。 在横向上,部级、流域、省级横向操作模式相同,以部级为例,重点是完成部级信息平 台数据库与水利外部业务系统(例如:防汛抗旱、水利电子政务等)的数据对接工作。以业 务前置库为辅的方式形成了“数据权威集中、共享需求隔离”的数据交互架构,业务系统对 共享数据的个性化需求由各自的业务前置库来满足。

4.2、平台组成 4.2.1、数据交换管理平台 数据交换管理平台 TongDXP 在本方案中承载部级节点、 流域节点、 省级节点逻辑上三级 交换库之间的数据交换,同时也承载三级平台交换过程的数据管理。 数据交换管理平台 TongDXP 提供业务人员易用的 web 管理控制台, 能够对三级平台交换 库之间的传输非常简易的配置, 同时也可以按照集中方式统一管理、 分域方式对以树形结构 管理整体交换工程, 例如: 部级数据交换管理平台以分域形式可以管理 7 大流域到部级的整 体数据交换过程, 长江流域数据交换管理平台能够管理其下属省份到长江流域的数据交换过 程。高效合理的管理方式是水资源项目后期的组织保障。 数据交换管理平台 TongDXP 能够管理全网水资源两级信息平台交换库之间的数据交换 过程、 信息平台交换库与信息平台业务库的数据交换过程、 外部业务前置库与业务数据库的 数据交换过程。 4.2.2、数据采集工具 数据采集工具在本项目中承载业务前置库与信息平台业务库之间数据交换, 信息平台业 务库与信息平台交换库之间数据交换, 在有可能的情况下完成业务前置库与水资源外部系统 数据之间数据交换。 数据采集工具 TongIntegrator 提供功能丰富的适配器组件技术。每个适配器不但提供 功能数据交换适配和服务功能,而且无需编码,只需经过简单的配置就可以实现数据交换。 数据采集工具能够通过数据库触发器、数据库时间戳直接读取数据,也可以读取数据文件、 访问应用接口获取数据。 4.2.3、消息中间件 消息中间件 TongLINK/Q 承担在外网上传输数据信息的重要职责,亦是连接各级数据交 换管理平台与各个数据采集工具的主要数据通道。 消息中间件 TongLINK/Q 为各个相关信息系统与数据交换平台之间的数据传输提供了可 靠保证。消息中间件的消息传输一次且只有一次,是可靠的传输,其可靠性主要反应在消息 中间件许多内建功能的可靠上。即使在网络阻塞,物理链路暂时中断,甚至主机宕机等严重

情况下仍然可以通过续传保证数据不丢、不重、不错的传送到接收节点。 4.2.4、信息平台交换库 交换库的设置是为了解决部级信息平台与流域级信息平台、 流域级信息平台、 省级信息 平台的接入标准化问题, 通过在各级信息平台设置交换库, 能够将信息平台业务库的数据已 标准化方式接入,成功解耦上下级平台,权限职责分明,并最终形成数据的上传下达。 信息平台交换库的设置在水资源项目实施过程中能够解耦上下级平台, 搭建好传输骨干, 具有良好的模式优势: 第一,扩展性非常好。能够非常容易做纵向扩展,例如实施过程中,部级信息平台与 7 大流域信息平台、32 个省级信息平台可以逐步接入,定义好交换库标准,无论 7 大流域信 息平台是哪种方式、什么时间接入,都不会对传输骨干造成影响,每个流域信息平台接入只 需要做信息平台交换库与信息平台业务库的数据标准映射。 第二,能够解耦上下级平台。信息平台交换库成为平台间交换标准角色,有效减少紧耦 合带来的数据交换实施工作量, 同时能够较为清晰定义上下级责任边界, 降低项目实施过程 中“扯皮现象” ,采用数据交换管理平台 TongDXP 可以监控具体数据传输量作为评测依据。 第三,标准化定义非常清晰。信息平台交换库方式是电子政务交换体系重要组成部分, 相关模式已经很清晰, 在实施过程中只需要定义标准规范就可以快速复制, 具体的标准规范 包括: 《部级信息平台数据库和流域级交换库对接标准》 、 《部级信息平台数据库和省级交换 库对接标准》 、 《流域级交换库和流域信息平台数据库对接标准》 、 《省级交换库和省级信息平 台数据库对接标准》等。 4.2.5、业务前置库 业务前置库的设置是为了解决部级信息平台与部级外部业务系统、 流域级信息平台与流 域级外部业务系统、 省级信息平台与省级外部业务系统的接入标准化问题, 通过设置业务前 置库, 能够将外部业务系统的数据已标准化方式前置桥接接入, 并最终形成数据的上传下达。 业务前置库的设置在水资源项目实施过程中能够解耦信息平台与外部业务系统, 以前置 方式对接外部系统,具有良好的模式优势: 第一,扩展性非常好。能够非常容易做横向扩展,例如实施过程中,信息平台与防汛抗

旱、水利电子政务系统等外部业务系统可以逐步接入,定义好前置标准,可以轻松的与外部 系统对接,每级业务系统接入只需要做业务前置库与业务数据库的数据标准映射。 第三,标准化定义非常清晰。业务前置库方式是电子政务交换体系重要组成部分,在实 施过程中只需要定义标准规范就可以快速复制,具体的标准规范包括: 《长江流域前置库 和长江流域水资源业务库对接标准》 、 《广东省前置库和广东省水资源业务库对接标准》 、 《四 川省前置库和四川省水资源业务库对接标准》等。 4.3、业务场景分析 4.3.1、数据采集场景 数据采集场景是指,在部级节点、流域节点、省级节点的水资源信息平台都需要和水利 部其他业务系统(例如:防汛抗旱、水资源电子政务等)做数据采集,即将外部业务系统数 据采集进入信息平台数据库。

数据采集场景是采用业务前置库方式解决系统紧耦合、 平台扩展性。 数据采集是分两步 完成工作, 第一步需要将外部业务系统数据库数据搬迁到业务前置库, 第二步需要将业务前 置库数据交换至信息平台数据库。 第一步工作可以由业务系统采用主动方式将数据推送至业务前置库, 同时也可以采用水 资源项目提供的 TongIntegrator 数据采集工具通过数据库触发器、数据文件读取、应用接 口访问、 消息中间件对接等多种方式将数据交换至业务前置库。 其中数据库触发器方式需要 业务系统提供操作权限,会对业务系统数据操作一定压力负荷;数据文件读取方式,由外部 业务系统形成数据文件, 数据文件可以采用数据批量和增量方式提供; 应用接口由外部业务 系统提供标准化的 webservice 接口;消息中间件接口对接方式由外部业务系统提供接口。

第二步工作由集成商使用 TongIntegrator 工具完成业务前置库到信息平台数据库的数 据交换工作,因为业务前置库只是数据的存储,可以采用已经采购的 Oralce 数据库、地方 自有的数据库或者免费的 mysql 数据等多种方式,使用 TongIntegrator 工具可以用数据库 触发器方式构建数据, 同时可以猜业务前置库设计过程中考虑时间戳设计模式完成数据交换。 4.3.2、数据上传场景 数据上传是指流域节点、省级节点将水资源数据上传至部级节点,即流域、省级信息平 台数据库与部级信息平台数据的交换。

数据上传场景同样采用松耦合架构方式建设, 在流域节点、 省级节点建设标准的交换库, 交换库的建模标准采用和部级信息平台数据同样的建模结构,这样在 39 个流域、省级节点 都是做流域、省级节点信息平台数据库与交换库的对接,39 个交换库只是做到与部级节点 信息平台数据库的同构交换。数据场景分为三步:第一步是做流域、省级节点信息平台交换 库与交换库的数据交换;第二步是抽取交换库数据做数据传输;第三步获得流域、省级节点 数据做入库操作。 第一步是采用 TongIntegrator 主动从信息平台数据抽取数据到交换库,因为考虑到信 息平台数据库绝大多数都是新建系统(江苏已经建设系统) ,系统建设规划过程就可以考虑 交换数据的形式,可以把交换数据存储数据库,数据库数据有时间戳标志,交换数据以文件 落地或者以应用接口方式发布, TongIntegrator 采用触发器方式、 时间戳方式、 文件方式、 应用接口方式对接。

第二步是采用 TongDXP 从交换库中抽取数据做发布, 交换库的建设考虑到项目投资, 建 议可以采用 Oracle、MySQL 两种数据库,交换库不承载业务应用只做数据交换标准化, TongDXP 提供 Oracle 日志读取、触发器两种方式能够快速抽取业务数据。 第三步采用 TongDXP 订阅流域、省级节点的发布数据,订阅完毕后使用 TongLINK/Q 搭 建的可靠传输网络做数据传输,传输至部级节点的数据由 TongDXP 做入库操作。 4.3.3、数据下发场景 数据下发是部级节点将数据下发至指流域节点、省级节点,即部级信息平台与流域、省 级信息平台数据库的交换。

数据下发场景同样采用松耦合架构方式建设, 在流域节点、 省级节点建设标准的交换库。 数据下发场景分为三步:第一步抽取部级节点业务数据发布,第二步流域、省级节点订阅部 级节点发布数据入流域、省级节点交换库,第三步流域、省级节点交换库同步至信息平台数 据库 第一步是采用 TongDXP 抽取部级节点数据, 考虑到部级节点数据库采用 Oracle 数据库, 那么使用 TongDXP 提供的 Oracle 日志方式就能以低侵入方式访问部级信息平台数据库。 第二步是采用 TongDXP 订阅部级的发布数据, 采用 TongLINK/Q 的安全通道传输至流域、 省级节点, 并入库到交换库。 部级节点的发布数据可以是一对多方式被流域、 省级节点使用。 第三步采用 TongIntegrator 工具将节点交换库与节点信息平台数据库做数据采集、数 据转换、数据入库。从节点交换库采集数据采用触发器、时间戳两种方式。

4.3.4、数据内外网交互 数据内外网交互场景是考虑到水利数据不能在流域、 省级节点内外网之间直接交互数据, 数据流是流域、 省级节点外网先上传至部级节点外网, 然后在部级节点内网、 外网通过网闸、 或者物理刻盘方式传输到内网,然后在内网做数据下发。反之亦然

数据内外网交互场景是数据上传、 下发场景的结合, 差异性在于部级节点的内外网交互, 会有物理网闸和物理隔离两种方式。物理网闸方式的内外网隔离可以考虑 TongLINK/Q 的穿 摆钟式网闸解决方案完成内外网。物理隔离方式做手工拷盘操作。 4.4、部署架构 在本项目中整体的数据交换平台需要在 1 个部级节点、 7 个流域节点、 32 个省级节点部 署数据交换管理平台、消息中间件、数据采集工具。其中在部级节点部署 1 套数据交换管理 平台、1 套消息中间件、1 套数据采集工具;在流域节点部署 7 套数据交换管理平台、7 套 消息中间件、7 套数据采集工具;在省级节点部署 32 套数据交换管理平台、32 套消息中间 件、32 套数据采集工具,共计 40 套数据交换管理平台、40 套消息中间件、40 套数据采集 工具。 4.5、标准规范 本项目标准规范体系框架由总体标准规范、技术标准规范部分组成。

(1)总体标准规范:包括系统标准规范目录、系统名词术语、系统建设管理办法等内 容。 (2)技术标准规范:包括数据标准、交换标准。 4.5.1、总体标准规范体系 (1)应用系统建设运行标准规范体系 针对应用系统建设与应用的需求, 根据国家已制订的标准体系或信息系统建设标准规范 参考模型的基础上, 制订符合国家标准要求的应用系统建设和运行标准规范体系。 首先提出 支持应用系统集成建设任务的标准规范体系。 (2)建设术语规范 针对应用系统集成建设内容, 根据国家相关标准, 制订覆盖整个应用系统的业务术语规 范,统一规范应用系统建设和运行的信息及其管理术语。 (3)项目建设管理办法 本办法对调度运行管理系统建设集成实施规范化管理提供指导, 通过明确项目管理的基 本流程、项目建设和维护阶段基本流程,制订各应用系统招标投标阶段、设计阶段、实施阶 段、测试验收阶段和运行及维护阶段的相关管理办法,明确有关方责任,确保项目建设有序 推进和质量的提高。 4.5.2、技术标准规范体系 信息系统的基础是业务规范和数据标准。 为保障信息系统中信息流动畅通, 应建立符合 国际标准、国家标准、行业标准的应用机制,确保系统建设的实用性、先进性、规范性和统 一性。 ? 接入规范

鉴于本项目所要对接的各系统,数据集成交换平台、数据桥接系统所要建立的标准有: 《部级信息平台数据库和流域级交换库对接标准》 《部级信息平台数据库和省级交换库对接标准》 《流域级交换库和流域信息平台数据库对接标准》

《省级交换库和省级信息平台数据库对接标准》 《长江流域前置库和长江流域水资源业务库对接标准》 《广东省前置库和广东省水资源业务库对接标准》 《四川省前置库和四川省水资源业务库对接标准》 ?? ? 数据规范

本项目各业务系统所涉及的业务数据有多种,在项目实施过程中都需要定义标准规范, 例如: 《人员信息定义及格式规范》 《取水许可证数据定义及格式规范》 《水文数据数据定义及格式规范》 ? 数据交换规范

为保障本项目数据传输的实时性、准确性、安全性等方面,需对数据交换方面编制相应 的要求,需制定《水利水资源数据共享交换规范》 ? 业务边界规范

为了保障本项目系统集成整合的顺利实施, 需要在两两系统整合时定义整合的业务边界 规范,以明确的边界划分有效理清责任问题,避免“扯皮”现象发生,便于时候就查原因。

4.6、系统实施分析 本项目考虑到项目实施,需要有多重角色定义:总集成商、分集成商(流域、省级) 、 厂商。 总集成商作为水资源项目的总体协调单位, 要总体规划本项目, 总集成商完成部级平台 与省级平台对接,包括流域节点、省级节点交换库建模与标准规范设计,完成流域、省级信 息平台与节点交换库交换实施工作,完成 39 个节点交换库与部级信息平台数据库数据交换

实施工作。同时也参与流域、省级节点信息平台与水利外部系统业务前置库标准规范定义。 分集成商作为流域、省级节点的集成补充,将参与各自流域、省级节点信息平台与水利 外部系统业务前置库标准规范定义,同时完成各自流域、省级节点业务前置库与流域、省级 信息平台数据库数据交换实施工作, 有可能完成各自流域、 省级节点业务前置库与水利外部 业务系统系统数据交换实施工作。 厂商作为本平台的产品提供,辅助于集成商完成标准制定,提供产品培训、现场服务。 5、平台详细设计 5.1、数据交换管理平台 5.1.1、体系架构 数据交换管理平台的体系图,如下图所示:

数据交换平台 管理中心
统一配置管理 交换基础信息配置
交换节点配置 交换节点资源监控 交换通道配置 交换节点状态监控 交换网络拓扑配置 系统告警监控 定时

交换节点
统一监控管理 交换环境监控
日志分析

前置交换 数据抽取模式
触发器 时间戳 标志位

交换触发模式
实时 手工触发 条件触发

交换业务配置
交换数据库配置 发布数据流程配置 交换流程监控

数据处理
数据过滤:发布端过滤、订阅端过滤 数据路由:内容路由、节点路由 数据关联:单表,主字表,表+文件,文件 节点交换统计

交换业务数据监控
订阅数据流程配置 批量处理流程配置

系统管理
角色管理 机构管理 用户管理

数据库交换统计 链接管理 流程交换统计 加密传输

数据传输
断点续传

压缩传输

业务数据库

业务数据库

在交换中心节点上的交换模块由交换流程层、 传输通讯层以及中心数据源三个部分组成。 交换中心节点通过数据传输通道(TLQ)消息中间件,完成与其相邻节点的数据传输,通过 TongIntegrator 交换流程控制引擎,控制经过本级中心的数据、文件等交换的流转,通过 TongIntegrator 交换服务管理模块,发布本级中心代理或者代理途经本中心的服务请求。 监控管理中心数据源是中心所有交换业务异常数据、 交换过程信息、 管理信息的数据存 储区, 通过交换流程在中心流转的异常数据将保存在中心库中, 由中心的异常处理流程做数 据持久化和数据补偿,而中心管理库则记录所有中心交换的过程基础信息等。 5.1.2、功能实现 前置交换 这里的前置交换是指数据交换平台中真正完成数据交换的一个技术实现, 数据交换从整 个流程上来说有数据抽取, 数据处理及数据传输, 通过这三个环节就完成了一个基本的数据 交换的过程。 数据抽取模式 数据交换平台有多种数据抽取模式, 每一种数据抽取模式都可以配置不同的数据抽取频 率。 搭建平台的设计阶段就可以根据项目的实际需求选择不同的数据抽取模式,具体包括: ? 日志分析模式:日志分析模式,是指通过分析数据库的日志来抽取数据变化增量数据; 由于目前各个数据库日志的记录模式, 开放程度都不一样, 通过对目前常用的数据库分 析,oracle 数据库对日志的开放程度比较高,记录的比较详细,故此抽取模式只针对 oracle 数据库,其优点对数据库侵入性低,只需要打开数据库的归档日志即可,无需 在数据库上做更多的配置。 ? 触发器模式: 触发器模式是针对目前常用数据库都支持的一种通用模式, 即通过配置工 具在要进行交换的数据表上自动创建一些必要的触发器, 当数据发生变化是可以定时或 者实时的把发生变化的数据交换出去。 ? 时间戳模式: 时间戳抽取模式是针对目前常用数据库都支持的一种通用模式, 即要进行 数据交换的数据表上要求有一个时间类型的字段, 业务数据发送变化的时候此字段更新

成变化时间,系统会定时扫描发生变化的数据进行交换。 ? 标志位模式: 标志位抽取模式是针对目前常用数据库都支持的一种通用模式, 即可以指 定要进行交换的数据表中的某一个字段的值是什么时候进行交换,这里称其为标志位, 当完成交换后把此字段设置成另外一种状态,即已经完成交换。 交换触发模式 交换流程的执行触发方式可分为定时触发,实时触发,手工触发,条件触发。 ? ? 定时触发:数据交换可指定某个时间,或某个周期定时执行。 实时触发:数据交换实时进行,当系统检测到数据增量变化时实时交换数据,检测 频率可设定。 ? ? 手工触发:可通过手工操作来执行数据交换。 条件触发:可根据某个条件,当条件满足时来触发交换流程的执行。

数据处理 数据处理是当数据抽取出来后需要进行的各种处理后再进行传输, 包括交换模式, 交换 方向,数据加工,数据过滤,数据路由等功能的支持。 ? 交换模式: 是指多个节点之间进行数据交换时可以对应的几种业务模式, 平台支持数据 库表的一对一的交换;多个表交换到一张表中;一张表的数据交换到多张表中。 ? 交换方向:是指在业务数据交换中支持的交换方向,平台支持数据的单向下发、上传; 两个数据库数据的双向交换,即任何一方发生变化都要交换到对方;数据广播,通常用 于上级数据向所有下级广播的数据交换。 ? 数据过滤: 对业务数据可以从两个方向去进行过滤, 一种是可以在数据发布的时候进行 有条件的发布过滤,另外就是针对不同的订阅进行各自特有的订阅条件的过滤。 ? 数据路由: 这里的路由首先是根据数据内容的路由, 按业务要求不同的内容交换到不同 的目的地; 另外就是指数据转发的场景支持, 即当两个交换节点之间网络无法直通的情 况下,可以通过一个中介的网络进行路由转发。 ? 数据关联:数据交换可对单表交换,主子表关联交换,以及数据表和文件结合的数据交

换。 数据传输 在数据交换中,数据的传输是比较关键的一个技术,如何能及时、可靠、完整及安全的 保证数据的传输是最重要的, 现有平台的传输都是基于公司已有的消息中间件来完成, 消息 中间件经过多年在金融电信等关键行业的应用后已经非常成熟稳定, 数据平台无缝的集成消 息中间件,消息中间件对用户来说是透明的。 现有平台在数据传输过程中支持: ? 链接管理: 支持网络常连接和按需连接两种连接模式, 以更好地适应不同的网络通 讯环境,节省系统资源和提高传输效率; ? ? ? 断点续传:消息不重传,从中断的位置开始续传,直到消息传输完成。 压缩传输:提供数据压缩机制,提高网络传输性能。 加密传输:提供数据加密机制,加强数据传输安全控制。

支持多种网络底层环境,如:租用线 (Leased line)、拨号线、分组交换网(X..25) 、 DDN , 帧中继 (Frame Relay) 、卫星网络等。 统一配置管理 交换基础信息配置 交换节点/交换通道/网络拓扑配置 当要完成一个数据整合的项目的时候, 必然会涉及到多个点的数据的交换, 这里的交换 节点主要就是指这些要进行交换的交换服务器的配置;交换节点都是在一定的权限控制下, 由配置管理中心统一进行配置, 这些节点的配置、 管理及监控都以一个交换拓扑图为基础进 行,操作简单快捷,可以定义交换节点之间的上下级关系,定义节点之间的交换路径等,当 节点配置完成后, 各个交换服务器上的相关配置信息就全部配置完成, 整个交换的拓扑图也 就自然形成,所有的交换的传输通道也已经创建完成。 交换业务配置 所有的交换业务、交换规则、交换路径都在这里进行配置及管理,具体配置包括:

? ?

交换数据库配置:要进行数据交换的数据库的基本信息配置管理。 发布数据库流程配置: 要对外发布的数据配置管理, 这里会配置哪个数据库的那个业务 表要把数据交换出去;用什么模式抽取这些数据;抽取是否有条件及条件的配置;抽取 的频率及相关的一些处理规则。

?

订阅数据流程配置: 要接收发布数据的配置管理, 这里会配置那个数据库的那个业务表 要接收此发布数据,一个发布的资源一旦被订阅,就形成了一个交换流程,订阅可以针 对已发布的资源进行过滤、转换等;一个发布资源可以被多个资源订阅,一个订阅也也 可以接收多个发布的数据。

?

批量处理流程配置: ? 批量发布资源: 要对外发布的数据批量配置管理, 这里主要会配置哪个数据库的那 些业务表要把数据交换出去;可以完成一个数据库所有表或者部分表的批量发布, 这些批量发布的基本规则统一配置,发布条件等信息也可以单独进行配置。 ? 批量订阅资源: 要接收发布数据的批量配置管理, 这里会配置那个数据库的那些业 务表要接收发布数据, 系统会出某一个数据库的所有发布, 同时针对选定的订阅数 据库按一定规则先进行自动匹配发布订阅流程,用户也可以手工进行匹配。

统一监控管理 数据交换平台的监控管理主要分为两方面: ? 交换环境监控: 数据交换平台(基础设施监控) ,即交换节点、交换配置的基础信 息; ? 交换业务数据监控: 交换数据监控是指数据交换的业务数据交换统计分析, 例如某 个业务表在某个时间段有多少数据进行了交换。 交换统计分析, 可从不同角度来进 行:节点交换统计,数据源交换统计,交换流程(业务表)交换统计。 交换环境监控 交换环境的监控主要是指各个交换节点以及整个交换网络的监控, 通过之前在配置管理 中配置好的一个交换网络拓扑图可以很清晰的监控到整个交换网络及网络中各交换节点的 状态是否正常;当发现交换节点有异常的显示后,可以查看此交换节点详细的监控,包括交

换服务器资源占用情况、交换服务器上各交换流程的运行情况等信息。 ? 交换节点资源监控:可监控节点的基础设备资源,如:CPU,内存,硬盘使用百分比, 网络使用情况等。 ? ? ? ? 交换节点状态监控:可监控平台系统中的交换节点的状态,如某节点是否连通等。 交换流程监控:可监控交换流程的状态,是否启动等。 系统告警监控:当上述监控中发现异常,记录告警,并可通过配置的告警方式告警, 平台默认实现了邮件告警方式,只需要配置相应的邮件信息,当有警告产生时,会自动 发送告警邮件给邮件接收者。 同时平台还提供了可扩展的告警方式接口, 可根据项目需 要扩展不同的告警方式,如短信告警等。 交换业务数据监控 在数据交换中,用户最关心的是数据是否正确、完整的交换到指定的目的地,现有数据 平台从多个角度去完成了数据交换的监控及告警: ? 节点交换统计: 可以统计某一个或者某几个节点在某一个时间段内的数据交换情况, 包 括那个流程(即那张表),发送(中转或接收)成功数、失败数等信息。 ? 数据源交换统计: 可以统计某一个或某几个数据库某一个时间段内的数据交换情况, 包 括那个流程(即那张表),发送(中转或接收)成功数、失败数等信息。 ? 发布订阅统计: 可以根据节点、 数据源及其上的发布或者订阅的资源进行更细的定位来 统计某一个时间段内的数据交换情况,包括那个流程 (即那张表),发送(中转或接收) 成功数、失败数等信息。

交换节点是指平台系统中实际参与数据交换的一个逻辑节点, 负责根据流程的配置, 从 业务库/前置库中按照指定的抽取数据模式抽取数据,并进行数据处理,打包,通过数据传 输模块将数据发送到指定的目标交换节点,目标交换节点接收数据,并处理数据。

5.2、消息中间件设计 5.2.1、设计思路 数据交换平台的 TongLINK/Q 传输总线,提供松散耦合的消息通信机制。消息通信由消 息中间件 TongLINK/Q 来完成。 消息中间件 TongLINK/Q 负责将交付的消息传送到目标节点的 目标队列。 消息的发送者和消息的接收者完全不需要关注对方在什么位置, 他们之间通过队 列实现点对点的消息传输。同时,消息传输网络,也支持发布/订阅模型的消息传输。

J2EE应用 其他信息访问 核心进程

可靠 队列

信息交换中心

可靠 队列 部门应用

核心进程

核心进程

可靠 队列

部门A

部门应用

部门B

在应用系统进行数据通讯时,应用进程通过 TongLINK/Q 接口函数,将消息放入消息队 列中。 TongLINK/Q 核心进程从消息队列中取出消息,根椐消息中的接收者的名字,通过 TongLINK/Q 之间建立的数据通道,将该消息传送到接收者所在 TongLINK/Q 核心。接收者所 在的 TongLINK/Q 核心收到消息,若是需要可靠传输的消息写入消息队列中,接收应用进程 通过调用 TongLINK/Q 的接口函数,从消息队列中取出消息。至此,一个消息传递完毕。 消息中间件 TongLINK/Q 的消息传输一次且只有一次,是可靠的传输,其可靠性主要反 应在 TongLINK/Q 许多内建功能的可靠上。即使在网络阻塞,物理链路暂时中断,甚至主机 宕机等严重情况下仍然可以通过续传保证数据不丢、不重、不错的传送到接收节点。消息可 靠传递通过两种机制加以保证, 一是消息收发时的事务管理, 二是消息的可靠存储和可靠传 递。 ? 消息的事务管理

消息的事务管理是保证消息可靠投递到队列中,或可靠地从队列中取出使用。 事务管理可以保证几个消息同时放入队列都成功或都失败, 保证几个消息同时从队列中 取出都成功或都失败,应用处理消息不成功可以将消息回退到队列中,等待下次继续处理。

?

消息的可靠存储和可靠传递

消息可靠存储和可靠传递是保证消息在两个队列间的可靠传输的。 在传输过程中不论是 机器意外停机或网络意外中断,在消息生命周期内这些故障得以恢复后,TongLINK/Q 可以 保证消息可以继续可靠的传递到目的队列中。 5.2.2、体系结构 本节描述 TongLINK/Q 的基本组成和运行方式。TongLINK/Q 的体系结构如下图:
应用程序 应用接口API 辅 助 工 具 日 志 管 理 系 统 管 理 运 行 监 控 应 用 管 理 队 列 管 理 事 件 管 理 协议栈 通道管理 消 息 管 理 安 全 管 理 远 程 客 户 代 理 客 户 方 代 理

在应用系统进行数据通讯时,应用进程通过 TongLINK/Q 接口函数,将消息放入消息队 列中。 TongLINK/Q 核心进程从消息队列中取出消息,根椐消息中的接收者的名字,通过 TongLINK/Q 之间建立的数据通道,将该消息传送到接收者所在 TongLINK/Q 核心。接收者所 在 的 TongLINK/Q 核 心 收 到 消 息 后 将 消 息 写 入 消 息 队 列 中 , 接 收 应 用 进 程 通 过 调 用 TongLINK/Q 的接口函数,从消息队列中取出消息。至此,一个消息传递完毕。 TongLINK/Q 系统核心由以下几部分组成,包括核心程序、代理程序、用于信息登记的 共享内存和记录系统运行信息的日志。 ? 核心程序

核心程序由一组守护进程构成。核心程序主要工作是建立、维护、监控数据通道;从应 用队列中取出要发送的消息,通过数据通道将消息发送出去;从数据通道中接收消息,将消 息通过数据通道进行转发或写入本地的应用队列, 提交给本地的应用进程。 对于需要可靠传 输的消息,进行传输过程跟踪登记,根据网络情况和主机情况保证消息的可靠传递。 ? 代理程序

代理程序是一组依赖于核心程序,同时能够分担核心程序负载的进程组成。主要包括:

监控代理、客户方代理和发布订阅代理。代理程序负责接收特定客户程序的请求,如远程监 控发来的请求、瘦客户端请求等,并进行分析,将需要核心完成的工作通过特定接口交给核 心,并将请求处理结果返回给客户程序。 ? 共享内存

TongLINK/Q 系统的共享内存用于存放系统运行所需的一些控制信息、状态信息、统计 信息,或用于消息的缓冲队列。通过 TongLINK/Q 系统的管理工具可以实时监控系统运行状 态,获取系统运行过程的状态信息。 ? 运行日志

TongLINK/Q 系统的运行日志在核心运行过程中生成,它记录具体传送的消息数据,记 录系统的运行步骤和出错信息。用户可以通过操作系统工具和 TongLINK/Q 系统的管理工具 浏览运行日志的具体内容。 这些信息可以用于对系统的运行过程进行审计, 可以帮助系统管 理员了解系统运行过程,排除故障,调整系统运行参数。 5.2.3、功能实现 基于 TongLINK/Q 的数据传输子系统提供如下的功能实现: 提供端到端的实时通信服务。 应用不必关心网络路由和其他的网络细节, 使网络的建立 与网络的物理联结无关。 TongLINK/Q 支持多种网络底层环境,支持多种通讯链路方式,比如:租用线 (Leased line)、拨号线、分组交换网(X..25) 、DDN、帧中继 (Frame Relay)、卫星网络等,并能够 支持在互联网进行交换数据的传输。 能够通过互联网进行交换数据的传输; 提供端到端的可靠传输服务。 适用于分布式环境下各种不同类型的应用开发, 特别是对 通信的可靠性要求较高的应用, 提供多层次的异步通信机制。 相互通信的应用具有时间上的 不相关性,发送方在发送数据时接收方应用可以还未启动。 提供简单易用、高效可靠的分布式应用系统的开发平台,应用编程接口(APIs)简单且 易学易用。 网络环境和细节对用户完全透明并且支持多种网络底层环境, 并提供了跨操作系 统的 Java 接口;提供对多种消息传输的支持;提供快速可靠的面向事务处理的数据(块)

递送功能,保证数据的完整性和可靠性;提供统一的应用集成环境 。 提供分布式应用的管理平台, 通过名字服务和应用管理等方式, 提供对分布式应用的管 理和监控。应用管理提供了对服务程序的策略性调度、监控、并发(支持顺序发送)管理和 异常处理等功能,为关键的应用服务提供了有效的支持。运行系统管理来维护 TongLINK/Q 逻辑通信链路, 实时的检测网络状态, 屏蔽通信中的瞬间网络故障。 工作在可靠传输方式时, 在应用、系统、网络从失效到恢复正常状态后能够接续原来的工作,保证一次传送,可靠到 达。 除了支持传统的树型逻辑结构还提供对网状结构的支持,从而强化了 TongLINK/Q 系统 本身的多元化逻辑结构功能。 提供安全管理(加/解密)功能,为客户应用之间的消息传输提供了数据安全性保证, 有效保护了私有数据的保密性。 支持常连接和动态连接(远程网络的拨号连接) ,能够更好的适应不同情况下通讯的应 用。 提供调试开关的功能,使用户可以根据需要及时调节系统的核心,提高效率和可靠性。 提供日志定时清理和磁盘空间管理功能。 Client/Server 模式,优化设计的可调谐核心系统,支持高度并发,开销小,通讯效率 高; 具有完整的日志功能, 查看系统运行情况; 实时监控网络性能、 动态地配置系统的参数、 调协系统的性能。 提供只基于开发库和代理的 TongLINK/Q 瘦客户系统。 使 TongLINK/Q 系统的应用降低了 对硬件环境的要求。 为了提高系统的可靠性和可扩展性,TongLINK/Q 系统提供了 CLUSTER 队列功能。 5.2.4、队列管理 队列是消息存储的地方, 消息在收发过程中将存储于队列中, 可靠队列中的消息存储于 硬盘中, 不可靠队列中的消息存储于内存 BUF 中。 队列结构由消息索引和数据存储区两部分 组成,其大小可以定义。TongLINK/Q 系统提供的队列基本类型为发送队列和接收队列,另 外的事件队列、发布队列、订阅队列等都为基本类型的功能延伸。

?

发送队列

发往目的地的消息要经由发送队列, 被发送的消息分别被放到不同的发送队列中, 核心 从发送队列中取消息进行网络发送。 每个发送队列都有自己唯一的名字, 分别都对应于某个 目的节点的一个接收队列。发送队列的大小、可存放消息数等都可以配置。 每个发送队列可以拥有多个优先级, 核心会根据消息的优先级, 按照优先级对应的配置 进行相应比例的发送。一般,优先级高的消息会得到更多的发送机会。用户在发送消息之前 可以根据消息的紧急特性设置不同的优先级。 ? 接收队列

核心收到消息后, 将根据发送方的设置将消息放到相应的接收队列中。 每个接收队列都 有唯一的名称,其大小和可存放消息的个数可以设置。 一般, 一类消息对应一个接收队列, 用户可以根据所收到的消息的特性设置接收队列的 属性:可靠和非可靠。 接收队列中的消息有两种状态:Receiving 和 Ready,分别表示消息处于接收过程中和 消息已接收完毕。 ? 事件队列

事件队列是接收队列的特殊应用,用于存放 TongLINK/Q 系统产生的事件,队列名为 EVENT 类型为可靠用户不可改变。其大小和可存放消息的个数都可以设置。 ? 集群队列

集群队列是接收队列的特殊应用, 该队列可能存在于若干节点上。 网关节点可以根据既 定的分配策略将消息分配到不同的节点上,实现消息处理的均衡负载作用。 ? 发布队列和订阅接收队列

发布队列和订阅接收队列都为接收队列的特殊应用。在发布/订阅传输模式中,发布者 发布消息时, 将消息放到发布队列中, 核心分析订阅者的订阅请求信息, 如果为本地订阅者, 则将消息复制到本地订阅者的订阅接收队列中, 如果为异地订阅者, 则复制到相应的发布队 列中。

5.2.5、消息通信方式 TongLINK/Q 支持多种消息传递方式,以满足不同应用方式的要求。 ? 点到点传输

发送方将消息放入发送队列,TongLINK/Q 核心负责消息在不同节点间的传递,接收方 从接收队列中获取消息。 发送方顺序将消息放入发送队列, 接收方顺序从接收队列接收消息。
发送者 接收者

?

路由转发

消息发往不相邻的节点。
发送者 路由节点 接收者

?

发布/订阅

订阅和发布可以实现一对多,多对一,和多对多的消息传递方式。 订阅者可以根据自己的需要订阅某些共享, 然后在适当的时间从该共享上接收已经发布 的消息。 发布者将消息发布到某个共享上,TongLINK/Q 核心负责将该消息分配给订阅该共享的 订阅者。

订阅者 发布者 主题 订阅者

?

集群

集群提供消息的接收和处理分布到若干个 TongLINK/Q 节点上的机制,多个节点在一个 群组内共同工作,与单独工作的节点相比提高了性能和处理能力。

接收者 网关 发送者 网关 接收者 接收者

?

客户端

TongLINK/Q 提供多种客户端接入方式。普通接口包括 C 接口、Java 接口、OCX 接口。 另外支持 JMS 消息接口标准。
Client AP

Client AP

Server

Server

Server AP

5.3、数据采集工具设计 5.3.1、功能实现 TongIntegrator 提供功能丰富的适配器组件技术。每个适配器不但提供功能数据交换 适配和服务功能,而且无需编码,只需经过简单的配置就可以实现数据交换。 适配器的配置过程就是数据转换和处理规则的定义设置过程。 适配器功能模型如下图所 示:

传 送 器 / 协 议

数据填充 解 压 / 解 密 消 息 格 式 化 数据过滤 消息转换 异常处理 消 息 格 式 化 加 压 / 加 密

传 送 器 / 协 议

源组件

管道 组件

管道 组件

管道 组件

目的 组件

适配器

不同的系统接入数据交换平台, 是通过适配器组件来实现的。 适配器组件通过属性配置 和脚本, 实现运行环境和必要的设定, 从而可以与所支持的系统进行直接的交互并对数据进 行采集、载入和数据内容的处理。适配器运行于 TI 所提供的整体的运行环境,该运行环境 提供了以组件化方式集成的整体的一致性框架。 应用系统比较分散,因此,数据交换需要提供跨网络数据传输保证机制。TI 支持使用 消息中间件、JMS 等数据传输机制,消息中间件是目前最佳的数据安全、高效、可靠传输保 障机制和手段,也是最常用的数据传输方式。 5.3.2、数据处理 在 TI 中的数据格式转换, 可以通过 TongIntegerator 提供的 TIStudio 工具来完成。 TI Studio 提供了数据转换对象方式。 数据转换对象,是针对于用户做大量的数据间传输,数据间作简单赋值的转换工具。通 过图形界面的赋值连线,代替用户编写数据转换部分的代码,减少代码编辑量。 数据转换对象,是一个数据转换工具,即 Java 服务的辅助工具,不能完成独立运行, 需要嵌套在 TI 系统的 Java 服务中使用,帮助用户在编辑 Java 服务时,自动完成数据转 换的代码编辑。 数据转换对象, 是完成源端数据到目的端数据赋值的编辑工具。 数据转换对象采用图形 界面拖拽的方式来连接两个不同(或相同)数据对象的属性,达到将源端数据赋值给目的端 数据的转换。

5.3.3、适配器组件 TI 产品采用框架式设计, 产品提供丰富的适配器组件。 能够提供主流的非结构化数据、 结构化数据、通讯协议的数据接入方式,并提供扩展自定义数据接入接口。 基于组件的, 用户可以象搭积木一样去配置一系列的组件关系来完成数据交换工作, 适 配器配置简单,无需编码,从而保证了数据交换体系的快速、高效建设。 为适应不同的数据交换环境和不同系统接入的要求,TI 产品提供丰富的适配器组件, 以解决异构系统、多种数据源、多种数据格式、是不同通信方式数据交换的需要。 TongIntegrator 提供全面而丰富的适配器组件群, 可以满足各种复杂数据交换的需要。 下图是 TI 适配器组件库的分类简介:
适配器组件库

Oracle 关 系 数 据 库 SQL Server IBM DB2 Sybase MySQL Informix Maxdb OpenBase 数据库查询 管道 通 信 与 访 问

TongLINK/Q

普通文本 文 本 与 文 件 XML 定长文本 分隔符文本 二进制文件 EXCEL 管 道 组 件

条件过滤 数据拆分 数据合并 属性映射 格式修改 数值修改 异常处理 数据压缩 监控与审计 序列化操作 格式化操作 加解密 定 制 组 件

USER 基准组件 IO组件 空组件

IBM MQ JMS Email FTP Web Service TCP/IP Socket

对于复杂或特殊系统的数据交换交换, 有时需要进行一些本地化的适配器组件开发工作 才能完成。TI 提供自定义组件机制,支持开发人员根据需要进行组件的定制开发,以解决 特殊数据交换的需要。定制组件可以直接集成到 TI 的交换集成框架中。 定时器适配器 定时器适配器实现了数据交换流程的周期性自动运行。 定时器适配器能够按照指定的运行模式和时间表进行定时自动运行, 并按照配置, 启动

相应的业务交换流程,以完成数据交换和同步的任务。 定时器适配器支持周期性运行和定时运行,能够设置运行的频率和时间点。 自定义适配器 自定义适配器是集成中间件 TongIntegrator 扩展所需的重要组成部分。 在 TongIntegrator 系统中, 适配器是多种异构系统之间互连互通及互操作的重要组件。 外系统只有通过适配器,才能接入到数据交换平台中。 而自定义适配器是应对那些非通用性或系统自有的系统接口而提供的一种扩展适配器。 自定义适配器提供了一个基础性的系统接入框架, 系统开发人员只需要实现框架内部的具体 业务接入逻辑,即可完成适配器的定制。 自定义适配器遵循 JCA1.5 标准, 任何开发人员开发的适配器, 只要符合 JCA1.5 标准, 就能够互换使用。 6、平台管理模式 6.1、统一化管理 统一化管理平台是指通过建立基础性的监控管理服务平台,以实现部、流域、省三级数 据交换平台的管理架构统一化、管理设施统一化、管理模式统一化。 平台统一管理是指对运行在平台上的各节点、 流程、 交换资源数据与平台后续扩展的基 础服务等方面进行集中管理的软件系统。通过该系统,可以对节点部署情况、流程部署及流 程数量与使用情况,信息资源的更新、交换情况,信息资源交换的实施、运行情况进行监控 和考核,确保信息资源共享的长期稳定运行。 6.2、分级域化管理 分级域化管理是指在统一管理平台的基础上,根据部、流域、省三级管理级别,基于各 个应用共享划分独立的交换管理域,保持各域之间相对独立互不影响的管理方式。 每个应用共享形成各自独立的应用交换域, 为了确保数据交换的安全, 各应用交换域之 间的运行隔离应保持互相隔离。 交换域管理是对平台总体交换环境的统一管理,管理的对像包括中心节点、前置节点、

节点之间的传输链路以及运行在交换节点上的交换流程。 交换域管理是基于 TI、 TongLINK/Q 产品提供 API 接口定制开发而来, 从而实现对节点、 传输链路以及交换流程的集中管理与控制。 7、平台扩展模式 数据交换平台作为 “基础化、 可复用” 的交换设施, 与业务系统之间是松耦合接入关系, 不但应当能够支撑现有的数据交换与共享需求, 还应当提供灵活可扩展的框架基础, 为后续 的业务信息系统接入提供简便的扩展策略。 7.1、部级横向扩展 7.1.1、兼容已建的业务系统 对于部委已建的业务系统, 数据交换平台提供了丰富的系统接入手段, 可以便捷地对系 统进行对接。按照接入方式,已建的业务系统对外提供的接口,可以分为数据层面和应用层 面,如下图所示:

考虑到各个已建业务系统的自身架构特性不同, 数据交换平台在进行系统接入时的技术 策略也不尽相同。基于集成中间件 TI 的数据交换平台可以在几下方面获得便利的支持,使 得对接工作变得简单易行。 1、提供大量内置接入组件 TI 适配器集成了丰富的企业级应用组件,包括:xml、excel、txt 等文件组件,FTP、 HTTP、JMS 等网络通讯组件,Oracle、DB2、SQLServer、SyBase、Access 及 JDBC 等数据库 组件,Web Service 组件等。这些应用组件可以快捷的实现数据信息的抽取、装载和格式转

换,减少了开发代码的工作量。 2、参数化可视化配置过程 对于内置的接入组件,TI 提供可视化向导机制,只需对组件的参数进行设置,即可实 现各种不同的数据交换策略, 可以大大提高系统的开始实施效率, 保证工程的顺利成功实施。 3、可扩展的定制化组件 如果已建的业务系统没有提供通用的数据接口,那么 TI 提供了可定制的应用组件,我 们只需编写特定的系统接入逻辑,可以实现系统的接入。 7.1.2、接入新建的业务系统 新建的业务系统当需要接入数据交换与共享平台, 使用数据交换服务和数据共享功能时, 其对原有已接入的业务系统没有任何影响,而且只需要部署自身使用的适配器即可。 数据交换平台与业务系统之间采用的是松耦合架构, 通过公共数据服务和中间库与各个 业务系统进行数据交换, 有效地屏蔽了各个业务系统之间的相互干扰和影响, 也保障了数据 交换平台核心业务的通用性与各个业务系统交换的特殊性的分离。 新建的业务系统接入时,简单来讲,需要完成以下几步工作: 1、在数据交换平台中为新建业务系统建立独立的中间库,用于作为数据暂存的中介。 2、在新建业务系统中部署数据采集工具,并与前置对接,从而实现新建业务系统与中 间库之间的数据对接。 3、若需要使用数据交换平台的公共数据服务时,新建业务系统只需开发相应的模块来 调用 Web 服务即可。 7.2、升级扩展 7.2.1、监控管理功能整合 数据交换平台的监控管理功能可以与运行监控平台或其他业务系统进行整合集成。 数据交换平台的监控管理中心不但自己提供了一套基于浏览器的管理界面, 而且开放了 底层中间件的管理 API 接口。监控管理中心基于 JMX 标准,管理功能可扩展,并方便用户编 程访问。

监控管理功能的整合方式,按照不同层面不同,可以分为以下几种方式: 1、数据层面集成 监控管理中心可以开放底层的监控管理数据信息,包括管理配置信息、实时状态信息、 异常报警信息等等, 给运行监控平台或其他业务系统。 运行监控平台或业务系统获取到监控 管理信息后,可以在自己的系统界面中进行展示。 2、应用层面集成 监控管理中心基于 JMX 标准规范,可以开放 JMX 标准的管理接口;同时,监控管理中心 还提供自身的 JAVA 管理 API,业务系统可以调用 API 接口,实现实时状态查询、异常信息 获取、远程管理配置等功能。 3、界面层面集成 监控管理中心具有基于 B/S 的管理控制台, 可以通过单点登录等界面集成手段, 将自身 的界面迁入到运行监控平台或其他业务系统之中。 7.2.2、平台功能二次开发 随着业务的发展和变更, 面对数据交换平台本身扩展功能无法满足的业务需求时, 数据 交换平台提供了二次开发接口, 平台开发人员能够基于开发接口进行系统定制开发, 以满足 业务的新需求。 平台支持的二次开发语言,包括 java、c、c++、delphi、vb 等等。 8、方案优势 8.1.、方案提炼自大量成功案例 本方案是东方通基于大量的数据交换成功案例中提炼总结经验编写而成, 其中, 在技术 架构、 功能设计、 实施部署等方面借鉴了江西省市县三级电子政务统一数据交换平台和环保 部统计能力分析项目数据传输平台的成功经验。江西省统一数据交换平台方案在 2010 年被 评为“SOA 中国十大解决方案”第一名,环保部数据传输平台实现了部、省、市三级部署, 共 515 个交换节点。

8.2、方案采用了成熟中间件产品 本 方 案 技 术 架 构 所 基 于 的 中 间 件 产 品 — 消 息 中 间 件 TongLINK/Q 和 集 成 中 间 件 TongIntegrator 均是经历过了大量用户使用、被事实证明过成熟可靠的产品。消息中间件 TongLINK/Q 诞生于 1993 年, 在交通行业具有 80%的市场占有率; 集成中间件 TongIntegrator 诞生于 2004 年,在全国 10 多个省级电子政务数据交换项目中均有过成功应用。 8.3、方案基于国内自主知识产权产品 东方通至 1992 年成立以来,一直致力于国产中间件的产品研发与推广,方案中选用的 消息中间件 TongLINK/Q 和集成中间件 TongIntegrator 均为东方通具有自主知识产权的产品。 8.4、方案中平台具有技术独立性 在方案设计中,数据交换平台与业务系统开发之间具有松耦合、低绑定的特性,保证了 业务系统与数据交换平台相互之间的技术独立性, 业务系统无需绑定在数据交换平台之上进 行开发、部署和运行,从而给予各业务系统在技术实现上保持了很大的灵活性和自由度。数 据交换平台的开放性和多种适配技术, 也使得平台能够与不同软件厂商开发的各类业务系统 实现接入。 8.5、方案中平台具有易管理特性 东方通基于多年来项目设计与实施的经验, 熟知电子政务项目运维管理特点, 在本项目 中数据交换平台着重在平台的监控管理、运行部署等方面进行了优化设计。通过“统一监控 管理平台、 分级域化管理” 管理模式, 平台在集约化建设和多样化管理之间寻求到了平衡点, 根据不同行政级别不同业务交换域设立管理范围,使得部、省两级平台实现了可管理、易管 理的建设目标。 8.6、方案中平台具有易扩展优点 方案的规划设计秉承了“统一规划、分布实施”的设计思想,在各级平台之间、平台内 部各组成之间最大限度保持松耦合的关系, 当平台需要接入新系统或平台需要延展实施的时 候,可以通过节点复制、远程部署的方式,快速地响应业务系统提出的新要求,从而使得数 据交换平台具有了易扩展的优点。


赞助商链接
相关文章:
IP-guardV3解决方案
IP-guardV3解决方案_互联网_IT/计算机_专业资料。TEC...互联网成为企业与本土外地公司 沟通、交换业务数据及...可以让您随时了解您公司的计算机用户的资源利用情况。...
蓝天卡节水管理系统方案v3.0
使用户可以按照管理需求个性化用水,给 水资源管理者提供有效解决方案,同时可以为...管理系统软件功能包括六大模块:卡片管理、设备管理、 数据处理、查询/报表统计、...
物联网4G专网标准解决方案v3
物联网4G专网标准解决方案v3_计算机硬件及网络_IT/...4G 路由器下属设备的数据互访,可 以形成多级组网...号码资源 多适合全国使用的特点 案例二、儿童手表:...
康赛智慧校园解决方案(最新详细方案)v3.0_图文
通 过对“业务应用”的数据整合,实现数字校园信息资源的共享与交换。并且支撑...智慧旅游解决方案V3 35页 5下载券 【精品推荐完整版】互联... 暂无评价 56...
欣捷分销软件解决方案V3
欣捷分销软件解决方案V3_信息与通信_工程科技_专业资料...机构信息中心, 分支机构经营数据通过数据交换 中心...通过帮助零售企业通过业务重整和资源整合,推动零售业务...
神州视翰数字医疗手术示教解决方案V3.22_图文
神州视翰数字医疗手术示教解决方案V3.22_临床医学_...这样即可以提高各医院的手术水 平,又可以提供手术的...系统 将信号指令控制与音视频数据交换分离的先进理念...
VCRM解决方案-v3 3
贡献者等级:蜻蜓点水 一级 格式:doc 关键词:暂无1/2 相关文档推荐 ...云数据中心解决方案-V3 暂无评价 4页 免费 vcrm_3 暂无评价 29页 免费 Oracle...
好视通视频会议系统整体解决方案V3.0
- 22 - 好视通视频会议系统解决方案 3.5. 设备参数 3.5.1. 视讯 MCU 服务器多点控制单元(MCU)主要实现音频和视频的混合与切换以及会议共享数据交换,它部署...
智慧校园解决方案(最新详细方案)v3.0_图文
智慧校园解决方案(最新详细方案)v3.0_信息与通信_工程科技_专业资料。智慧校园...6 2.4. 数据共享需求......
信息系统架构方案v3
信息系统架构方案v3_IT/计算机_专业资料。信息化架构...用性等因素的考虑,可采用 ORACLE 数据库的解决方案...TSM for SAN 安装在与光纤交换机直接相连,所有备份...
更多相关标签: