2022金融大数据平台总体技术要求.docx

金融大数据平台总体技术要求目 次前言 II1 范围 12 规范性引用文件 13 术语和定义 14 缩略语 35 金融大数据信息价值链 36 金融大数据平台总体目标 47 金融大数据平台功能技术要求 47.1 概述 47.2 数据接入功能要求 57.3 数据存储功能要求 67.4 数据处理功能要求 77.5 数据分析功能要求 87.6 数据服务功能要求 97.7 平台运维功能要求 108 金融大数据平台非功能技术要求 128.1 安全性要求 128.2 可靠性要求 128.3 性能要求 129 金融大数据平台接口技术要求 139.1 数据接入接口技术要求 139.2 数据服务接口技术要求 139.3 管理接口技术要求 13附录（资料性）金融大数据平台应用场景 14参考文献 16 I 金融大数据平台总体技术要求1 范围本文件规定了面向金融业的大数据平台总体技术要求的框架结构、功能技术要求、非功能技术要求以及接口技术要求 本文件适用于金融大数据平台的设计、开发和应用 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

JR/T 0236—2021 金融大数据 术语 ISO/IEC 20546:2019 信息技术 大数据 概述和术语 3 术语和定义JR/T 0236—2021《金融大数据 术语》界定的以及下列术语和定义适用于本文件 3.1大数据 big data 海量的数据集，其数据在本质上具有体量大、种类多、变化快、变数多的特征，需要一种易扩展的技术来有效存储、处理、管理和分析 注：1.大数据通常以多种不同方式使用，例如，作为某种用于处理大数据海量数据集的易扩展技术的名称2.GB/T 35295—2017《信息技术 大数据 术语》中2.1.1对大数据的定义为“具有体量巨大、来源多样、生成极快、且多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据” 3.在某些非工程性研讨的场合，“大数据”一词的外延可能被扩大到所有的数据 [来源：JR/T 0236—2021，3.1] 3.2 大数据参考体系结构 big data reference architecture 一种用作工具以便于对数据内在要求、设计结构和运行进行开放性探讨的高层概念模型 注：比较普遍认同的大数据参考体系结构一般包含：系统协调者、数据提供者、大数据应用提供者、大数据框架提供者和数据消费者等5个逻辑功能构件。

[来源：JR/T 0236—2021，4.1] 3.3系统协调者 system orchestrator大数据参考体系结构中的一种逻辑功能构件，可定义所需的数据应用活动并将其整合到可运行的垂直系统中注：1.系统协调者可以是人、软件或这二者 1 2.系统协调者一般包括：业务领导者、咨询师、数据科学家、信息体系结构设计师、软件体系结构设计师、安全体系结构设计师、个人信息保护体系结构设计师和网络体系结构设计师 [来源：JR/T 0236—2021，4.2] 3.4数据提供者 data provider 大数据参考体系结构中的一种逻辑功能构件，可将新的数据或信息引入大数据系统 注：数据提供者一般包括：企业、公共机构、科学家、调研人员、从事数据搜索的工程师、网络应用软件、网络运营商和末端用户 [来源：JR/T 0236—2021，4.3] 3.5 大数据应用提供者 big data application provider大数据参考体系结构中的一种逻辑功能构件，可执行数据生命周期操作，以满足系统协调者定义的需求以及安全和隐私保护的需求 注：大数据应用提供者一般包括：大数据应用领域专家、大数据平台领域专家和大数据咨询师。

[来源：JR/T 0236—2021，4.4] 3.6 数据消费者 data consumer大数据参考体系结构中的一种逻辑功能构件，是使用大数据应用提供者所提供的应用的末端用户或其他系统 注：数据消费者一般包括：末端用户、调研人员、应用和系统 [来源：JR/T 0236—2021，4.6] 3.7 分布式文件系统 distributed file system多个结构化数据集分布在一个或多个服务器集群的各计算节点的文件系统 注：此类系统中，数据可能分布在文件或数据集层，更为普遍的是在数据块层级分布，同时支持集群中多个节点与大型文件或数据集的不同部分交互 [来源：JR/T 0236—2021，6.12] 3.8 非结构化数据 unstructured data特征为除了记录或文件级别外没有任何结构的数据 注：总体而言，非结构化数据不是由数据元素组成示例：自由文本是非结构化数据的一个例子 [来源：JR/T 0236—2021，3.30] 3.9工作流 workflow指具有明确起点和终点以描述任务的活动序列 注：工作流是一类活动模型，且可能具有分支、决策点和事件 [来源：GB/T 32854—2020，3.1] 2 4 缩略语下列缩略语适用于本文件。

API：应用程序接口（Application Program Interface） AI：人工智能（Artificial Intelligence） CEP：复杂事件处理（Complex Event Processing） CPU：中央处理器（Central Processing Unit） DDL：数据库模式定义语言（Data Definition Language） FTP：文件传输协议（File Transfer Protocol） FTPS：基于SSL的文件传输协议（File Transfer Protocol Over SSL） HTML：超文本标记语言（Hyper Text Markup Language） I/O：输入/输出（Input/Output） JDBC：Java数据库连接（Java Database Connectivity） JAR： 一 种 软 件 包 文 件 格 式 （Java Archive） JSON：JavaScript对象简谱（JavaScript Object Notation） LPA：标签传播算法（Label Propagation Algorithm） MPI：信息传递接口（Message Passing Interface） ODBC：开放数据库互连（Open Database Connectivity） REST：表述性状态传递（Representational State Transfer） RPC：远程过程调用（Remote Procedure Call） SCP：安全复制（Secure Copy） SDK：软件开发工具包（Software Development Kit） SFTP：安全文件传送协议（Secret File Transfer Protocol） SQL：结构化查询语言（Structured Query Language） SSL：安全套接层协议（Secure Sockets Layer） UI：用户界面（User Interface） Web：全球广域网（World Wide Web） XML：可扩展标记语言（Extensible Markup Language） 5 金融大数据信息价值链从信息价值链的角度来看，金融大数据平台面向金融大数据应用提供者、系统协调者及大数据框架提供者，核心活动在于从数据提供者处收集、处理、分析金融活动过程中的相关业务数据、用户信息、行为数据等，并结合金融业务特征支撑金融机构的各项活动和服务。

金融大数据信息价值链见图1 3 图1 金融大数据信息价值链数据提供者为金融大数据平台提供数据或信息，包括数据源提供者、数据流通平台提供者和数据API提供者 系统协调者在金融领域规范和协调各类所需的数据应用活动，包括系统的配置管理、作业调度、资源调度、运行监控等活动 金融大数据应用提供者满足金融领域大数据服务需求，包括收集、预处理、分析、可视化和访问等活动 大数据框架提供者为金融大数据应用提供者在创建具体应用时提供资源和服务数据消费者是金融大数据应用的最终使用者或其他系统 6 金融大数据平台总体目标金融大数据平台的总体目标是帮助金融机构更高效、更快速地完成金融大数据应用的开发、部署和管理，从以交易为中心转向以数据为中心，以应对更多维、更大量、更实时的数据和互联网业务的挑战金融机构以防范系统性风险为底线，对数据安全和业务连续性保障的技术要求通常高于其他行业 7 金融大数据平台功能技术要求7.1 概述金融大数据平台是企业级、分布式、开放、统一的大数据平台，应包括数据接入、数据存储、数据处理、数据分析及数据服务相关组件从功能的必要性及重要性角度看，金融大数据平台具体功能技术要求可以划分为基本要求和增强要求。

增强要求是从技术的发展趋势和金融用户的前瞻性需求入手提出的 数据接入的基本要求应包括作业调度、数据传输、消息队列、批量采集，增强要求宜包括实时采集； 数据存储的基本要求应包括分布式关系数据库、分布式存储系统（文件、对象、块）等，增强要求宜包括分布式列数据库、分布式图数据库；数据处理的基本要求应包括批处理、流处理、图计算，增强要求宜包括批流融合计算、内存计算；数据分析的基本要求应包括模型库、数据处理引擎等，增强要求宜包括数据可视化；数据服务的基本要求应包括风险管理、用户画像、营销管理、客户服务和经营分析等金融大数据平台技术架构见图2 4 数据源营销管理风险管理客户服务经营分析用户画像数据基础服务应用数据服务平台运维统一数据调度应急响应管理数据管理多集群管理日志管理用户/组织/部门管理健康检查监控告警安装部署数据分析数据可视化数据处理引擎模型库数据处理批流融合计算内存计算图计算流处理批处理数据存储分布式文件系统分布式列数据库分布式图数据库分布式关系型数据库结构化数据/ 非结构化数据/ 半结构化数据数据接入数据传输消息队列数据采集作业调度数据提供者 金融大数据平台 数据使用者图2 金融大数据平台技术架构金融大数据平台由数据接入、数据存储、数据处理、数据分析、数据服务和平台运维等部分组成， 主要内容如下： a) 数据接入提供结构化数据、非结构化数据或半结构化数据的采集、数据的导入导出以及数据流的定义等功能，支持多系统集成，支持多协议接入，如支持RESTful、RPC、异步消息接入。

结构化数据包括数据库文件以及结构化文本文件等非结构化数据包括图片、音频、视频、文档及应用数据等半结构化数据包括XML、表格、。