TongGTP5.0技术白皮书.doc

技术白皮书 TongTech ®TongGTP5.0技术白皮书东方通科技公司技术白皮书（14）目 录1. 前言 22. 基本术语 33. 体系结构 33.1. 产品组成 33.2. GTP节点 43.3. 监控管理中心 54. 主要功能 54.1. 文件收发 64.2. 权限管理 74.3. 日志管理 74.4. 配置监控 74.5. 传输链路管理 85. 系统特点 86. 应用案例 9图表目录图 1 GTP产品组成 4图 2 GTP节点体系结构 5图 3 GTP监控管理中心体系结构 5图 4 企业财务数据传输系统GTP部署示意图 101. 前言随着大型企业或机构实现业务集中处理后，各个数据中心产生的大量数据信息，以及各种图像文件等需要及时快速地从省、市一级的服务器或终端传输到全国中心，或者从全国中心往省、市、县级中心下发也许很多人会认为这个问题非常简单，只不过是将数据从一个点传送到另一个随着IT技术的不断发展，需要传送的数据量也迅速增加，技术部门解决这类问题只有有限的几种方法：方法一：使用FTP（File Transfer Protocol）在许多情况下，我们选用传统的文件传输协议即FTP.，FTP有许多亮点，例如：它是一个免费的非侵入式的软件，一个技术人员稍加培训即可在基于IP的网络上进行各种类型文件的传输操作。

但是，FTP解决不了以下问题：FTP不适应现代化企业进行信息传输的需求，无法满足大量的非常准确的信息传送需求和业务需求：Ø 安全性差Ø 没有传输的保障Ø 有限的错误捕获和预防措施Ø 没有传输监控、广播、自动化、重传、重试、存储转发等必要的功能方法二：基于MOM（Message-Oriented Middleware）：消息中间件提供了一种在应用之间进行信息传送的稳定、安全、自动的方案在信息传输的过程中取消的人工干预，满足了一定的信息传输的需求但是，MOM只是提供了消息传输的通道，用户还必须调用MOM提供的接口编写传输应用，才能实现文件的传输显然，这两种方案都无法解决用户的所有的需求TongGTP(以下简称GTP)是面向分布式应用的文件传输平台，针对上述需求，提供满足企业级应用需要的通用传输功能GTP系统以成熟的消息中间件TongLINK/Q为基础进行架构，从而保证了其核心系统稳定可靠、具有良好的可扩展性和相当好的处理性能、并且易于管理和维护同时，GTP平台提供企业大数据量传输所需要的各种管理、部署和安全功能，使其方便易用借助此平台用户无需任何编码，只需进行简单的配置就可以轻松实现不同节点间的文件可靠、安全、高效的传输。

2. 基本术语由于后续对于此平台的功能描述中涉及诸多基本概念，本节将介绍GTP涉及的基本术语消息中间件消息中间件是实现应用之间进行广泛用途的消息传递的一类中间件，在分布式计算环境中通过消息队列以消息投递方式实现应用间松耦合关系的信息交互GTP节点一套GTP的运行环境，实现文件传输的功能，一般运行在一台物理机器上GTP监控管理中心集中进行GTP节点管理、用户管理、任务管理的统一平台，用户通过浏览器进行访问任务 任务是指用户为GTP定义的工作计划，GTP将根据用户的定义，在某个最方便的时间自动运行任务，实现文件传输断点续传当文件在传输过程中由于意外原因引起传输失败时，GTP将负责从传输失败点接续发送该文件，而不是将整个文件重新发送通过断点续传机制，既可以有效减少高故障率网络上的冗余通讯量，又可以避免极端情况下，如频率极高的网络抖动，文件传输的反复失败重传数据加密 通过某种算法，对数据进行编码，防止非法用户的阅读比较常用的都是基于复杂的算法，通过密钥来进行数据加密，主要的算法有DES、Triple DES、RC2/RC4、RSA等数据压缩 对于特大数据进行压缩，对于传输系统来说也非常重要。

通过标准高效的压缩算法，对要传输的大文件先进行压缩处理再进行传输，可以非常有效的利用网络带宽，提高传输效率3. 体系结构3.1. 产品组成TongGTP由GTP节点、监控管理中心两部分组成组成结构如下图所示：图 1 GTP产品组成GTP节点分布在网络上需要进行文件传输的机器上，用户可以通过浏览器登录集中管理中心，访问需要管理的节点，并定义相关的任务，交由GTP节点以手工或自动方式执行发送任务，文件的接收方（可以为一个或多个节点）的GTP节点负责将收到的消息按照约定的目录存放为保证系统的的安全性，GTP提供用户权限管理服务，用户分为管理员、操作员及访问者三种级别，具有不同的访问权限，而且对某个用户可管理的节点也可进行指派，避免错误操作职权范围外的节点3.2. GTP节点GTP节点是GTP在网络中的一套运行环境和基本单位，它由一组进程、配置文件和相关系统资源所组成，为用户提供文件传输任务的监控和调度管理，在合适的时间为用户自动进行文件的扫描与发送GTP节点的组成结构如下：图 2 GTP节点体系结构GTP节点包括代理服务、核心进程、命令工具及核心传输模块、日志管理等五大部分代理服务负责与监控管理中心进行通讯，提供GTP节点管理的代理服务。

底层传输模块是提供消息存储、队列管理等职能的通用消息通讯产品，目前系统中使用的是知名的消息中间件TongLINK/Q产品，由其为GTP节点间提供可靠高效的传输平台核心进程提供任务管理、目录访问及文件传输等服务，按照用户的定义执行相关的文件发送任务命令行工具及日志管理是为用户提供的其他辅助工具，以便用户在GTP节点上通过手工执行命令实现文件发送或日志的查看和管理3.3. 监控管理中心 TongGTP监控管理中心是一套基于Web浏览器、B/S架构的集中监控管理平台通过监控管理中心，可以实现对网络中所有GTP节点的集中配置、监控、管理和维护等工作，能够大大提高系统的维护管理效率，降低系统维护成本 TongGTP监控管理中心的体系结构如下图：图 3 GTP监控管理中心体系结构通过监控管理中心，用户实时查看各GTP节点的运行状态、任务所定义的文件传输情况，而且可以非常方便的查询及统计GTP节点上的文件传输结果，对于掌握系统的传输流量可以及时掌握通过监控管理中心也可以非常方便的对GTP节点进行远程的启动与停止，更加方便对系统的管理监控管理中心是一套独立于GTP节点运行环境的辅助工具系统，它不依赖于GTP环境，可以灵活的安装部署在专门的监控管理设备上，方便用户集中查看、监控GTP系统运行状态，对监控对象进行分析、诊断，并根据系统运行需要，调整相关配置。

4. 主要功能GTP的主要功能是为用户提供点与点之间自动、可靠高效的通用文件传输服务用户无需要进行任何编码，只需要进行简单的设置就可以完成传输任务的定义，GTP节点将按照用户的要求定期扫描新的文件并负责发送到目的地除文件传输功能之外，GTP还提供了跨越系统多个层次的安全性机制和良好的可管理性，以满足企业级应用的要求GTP系统提供的主要功能包括：4.1. 文件收发GTP系统提供目录及文件的收发服务，用户指定要发送的目录及文件、接收节点及接收目录，向GTP发出发送指令，由GTP将该目录中的文件和子目录以相同的目录结构发送到指定节点的指定目录下用户可以采用手工方式逐次定义发送任务并发送；也可以采用自动方式——通过定义自动发送任务，指定要传输的目录、接收节点和目录后，启动自动任务，则GTP会自动检测该目录，随时将放入该目录的文件发送到接收节点的指定目录中为了保证文件传输的可靠和高效，GTP也提供了各种保证措施：多种文件类型GTP支持各种类型文件的传输，例如：¨ 文本文件¨ 二进制文件¨ 图像文件¨ 图片文件¨ 语音文件等 对于文件的大小，GTP不做任何限制，只要操作系统可支持的文件大小，GTP都可以进行传输，无需用户手工对文件进行预先分割，再传输。

任务的灵活调度GTP任务分为自动任务和手工任务两种类型，自动任务表示需要按一定的规则定期循环执行，一直不停止，除非用户主动停止它自动任务创建后可以立即开始执行、可以由用户按自己的需要启动并执行、也可以定时执行而手工任务则指将一批符合条件的文件发送完成就停止的任务对于运行中的任务用户可以根据自己的需要即时终止任务，也可以重新启动任务压缩加密GTP产品提供数据压缩和加密功能，产品本身带有一套数据压缩、加密算法，同时也为第三方的压缩和加密算法提供了接口，用户可以方便的将自己指定的压缩和加密算法嵌入到GTP系统中断点续传通过GTP的底层通讯模块TongLINK/Q提供的断点续传功能，可以有效的保证文件传输的可靠性文件在传输过程中，不论是系统非正常关机或网络意外中断，文件消息都将仍保留在消息队列中，等待系统恢复后，文件将从传输失败点继续发送，而不是整个文件重新发送断点续传机制可以有效减少高故障率网络上的冗余通讯量在高故障网络上进行重传，会导致反复的失败重传，保证消息的可靠性流量控制GTP也提供流量控制功能，在传输的过程中，GTP可以根据设置将消息拆分为不同的小块，在网络上进行传输，传输到目的端后再重新组织为完整的消息。

每个小块的大小可以根据网络带宽和网络质量的不同灵活设置，网络质量较高的系统，可以调大每个数据块的大小，以充分的利用网络带宽，网络质量较差的系统，可以相应调小每个数据块的大小，以减少对网络的压力文件组播GTP既支持点对点方式的文件发送，也支持组播方式的文件发送，即可以将文件发送到一组GTP节点上，对于用户而言，只需要在定义任务时，指定多个目的节点就可以，任务所涉及到GTP节点之间则会自动生成所需要的相关配置，并实现文件从一个GTP节点发送到多个目的节点的要求4.2. 权限管理GTP在监控管理中心上进行用户的权限定义和管理GTP系统定制了各种角色，并为这些角色授予各种资源的访问权限，包括节点及用户的定义（指增加、删除、修改等）权限、任务定义及管理权限等对于GTP系统的所有用户，均需要由系统管理员为其建立唯一的用户名和口令，并为该用户指定所属角色及可操作的节点用户在使用GTP系统时，必须通过口令字认证才可以登录成功，而该用户也只有拥有相应的权限，才能使用系统提供的任务定义、文件传输、系统管理等功能，同时也只能管理分配给自己的节点，以保证节点的安全性4.3. 日志管理用户使用GTP系统完成的所有传输任务，均有详细的日志信息；此外，系统运行中出现的故障，也会在日志系统中进行记录。

通过日志信息，用户可以快速地进行运行故障定位和方便地进行运行审计GTP的日志记录级别及日志文件的大小都可以根据用户需求灵活配置，用户进行系统调试时，日志级别可以设置的较高，以详细记录系统传输的信息，当系统稳定运行后，日志级别可以相应调低，以减少日志记录对资源的占用为避免传输日志长期积累过于庞大，影响GTP节点的良好运行，用户可定义相关日志处理条件，GTP节点则按照条件进行日志自动清理或备份4.4. 配置监控管理工具TongLINK/Q提供命令行和B/S监控管理中心两种类型的系统管理工具，通过系统管理工具：¨ 可以实现任务的定义、任务的调度；¨ 可以监控各个节点的运行状态，也可以实时监控任务的运行情况及文件的传输情况；¨ 可以实时监控各GTP节点的报警信息及运行日志，以便及时处理系统异常；¨ 可以查询GTP节。