国信证券数据中心架构.ppt

国信证券数据中心架构信息技术总部￿|￿数据中心开发小组2016年01月12日1/17数据中心架构、模型、路线与实践•总体架构与理论•架构详细设计–企业数据仓库（EDW）–数据集市（Data￿Mart）–应用（APP）•下一步工作￿2内容Bill￿Inmon￿企业信息工厂架构Ralph￿Kimball数据集市/数据仓库总线架构VS逻辑设计：NCR金融服务逻辑数据模型（FS-LDM）￿物理设计：数据分区与切片业务绩效指标体系营销人员绩效指标体系客户指标体系数据中心KPI报表系统客户分析及推荐系统(￿DA2P)l客户分级分类管理l客户分析及推荐系统二期项目lEDW业务升级（新业务推出，及OTC、集中交易系统升级）数据仓库架构￿-￿Inmon￿vs.￿Kimball3Bill￿Inmon￿集线器架构/企业信息工厂架构（Hub￿and￿Spoke￿/￿CIF￿–￿Corporate￿Information￿Factory）《BUILDING￿THE￿DATA￿WAREHOUSE 》Ralph￿Kimball数据集市/数据仓库总线架构（Data￿Mart￿Bus￿Architecture/Data￿Warehouse￿Bus￿Architecture）《THE￿DATA￿WAREHOUSE￿TOOLKIT 》Ø￿自上而下的方法（TOP-DOWN￿）；Ø￿一个集中的企业范围的数据仓库中心（EDW），然后为一个业务部门或者业务流程构建数据集市，集市的数据来源于中心；Ø￿EDW采用E-R模型构建；Ø￿通常需要花费较长的时间和成本进行总体规划、构建，然后才能实现业务价值，由于数据的一致性和高重用性，认为有较高的ROA（总资产收益率）。

Ø￿自下而上的方法（BOTTOM-UP￿）；Ø￿构建面向业务流程的小的数据集市，然后在不同的业务流程之间，采用通用维度连接数据集市，构成数据仓库总线；Ø￿数据集市采用Dimensional模型构建；Ø￿从业务流程或部门需求出发，能快速构建系统并交付业务价值，具有较高的ROI（投资回报率），但由于数据集市的离散性，导致后期集成有较大难度数据仓库是一个面向主题的、集成的、随时间变化的、非易变的用于支持管理的决策过程的数据集合￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿--￿￿Bill￿Inmon￿ 《Building￿the￿data￿warehouse》不同方法论相互借鉴和趋同：1）架构趋同：集线器架构中数据集市采用了维度模型，而总线架构在改进后强调事实表中必须纳入细节粒度的数据；2）交付策略趋同：都开始强调在做好长期规划的前提下，实现短期内的成功交付等做法ETL（数据采集）数据资源绩效管理APP数据应用层业务价值EDW企业数据仓库层DM数据集市层ODS￿（操作数据存储层）资讯与市场数据用户渠道应用管理与服务系统国信证券数据中心架构草图￿(Sketch)4业务系统E-RModelDimensionalModel￿￿营销人员绩效指标体系￿￿业务绩效指标体系￿￿客户指标体系调度服务数据管理基础数据服务客户分析及推荐系统（DA2P）数据中心KPI报表系统算法及机器学习…EDW 采用Inmon架构保证一致的事实DM+App采用Kimball架构快速交付业务价值经营分析客户刻画精准营销客户细分客户服务客户挽留风险控制APP基础数据服务客户分析及推荐系统（DA2P）•￿用户接口•￿服务接口数据推送服务数据查询服务数据报送客群算法推荐数据中心报表系统￿2.0￿仪表板报表查询算法及机器学习挖掘算法分析统计分析用户国信证券数据中心架构图￿(Architecture)5数据应用层数据集市层数据仓库层数据资源资讯与市场数据用户渠道应用管理与服务系统业务系统集中交易系统统一账户系统法人清算系统融资融券系统个股期权系统综合管理平台人力资源系统CallCenterCRM聚源资讯数据万德数据金太阳日志鑫网用户日志Talking￿Data……操作数据层ODS业务系统数据区管理服务系统数据区市场资讯数据区用户渠道应用数据区•￿贴源设计•￿保存历史表版本InformaticaGPLoadBCPDump数据采集SQL￿Server￿￿Integration￿ServicesDWE-R￿ModelDimensional￿Model•￿面向主题•￿集成/清洗后的数据•￿保证一致的事实FS-LDM集成清洗维度化转换团体资产财务地域活动协议事件组织产品渠道DM￿￿营销人员绩效指标体系￿￿业务绩效指标体系(KPI)￿￿客户指标体系•￿面向业务•￿部分主题•￿维度模型基本属性投资偏好营销感知账户属性操作偏好服务感知资产情况盈利能力　交易情况客户价值　公司整体融资融券小额贷经纪业务个股期权约定式购回投行业务沪港通质押回购资管业务金天利OTC　净手续费客户维护新增资产客户盈利能力新增有效户息费收入投顾增量佣金利差收入ETL数据管理数据质量管理分布分区管理归档备份计算资源分配系统监控元数据管理维度管理调度服务任务管理任务依赖线程管理调度服务监控服务血缘影响分析重做（redo）管理系统集中交易系统经纪事业部绩效小组经纪事业部财富中心机构业务部资金运营部CRM系统财务系统风控系统渠道应用监管单位系统管理员风控部融资融券部DBA外部总部分支机构IT资产管理部分支机构电脑经理分支机构营销人员数据处理程序数据区/数据部分实现/未完善模块图例•总体架构与理论•架构详细设计–企业数据仓库（EDW）–数据集市（Data￿Mart）–应用（APP）•下一步工作计划￿6内容Bill￿Inmon￿企业信息工厂架构Ralph￿Kimball数据集市/数据仓库总线架构VS逻辑设计：NCR金融服务逻辑数据模型（FS-LDM）￿物理设计：数据分区与切片业务绩效指标体系营销人员绩效指标体系客户指标体系数据中心KPI报表系统客户分析及推荐系统(￿DA2P)l客户分级分类管理l客户分析及推荐系统二期项目lEDW业务升级（新业务推出，及OTC、集中交易系统升级）Data￿AlignmentMPP数据中心架构-EDW部分712345物理设计：数据分布与分区数据资源ODSEDW业务系统…E-R￿ModelDimensional￿Model保存表历史版本ER模型->维度模型3 2 1例子：fundassetDataNode1DataNode2DataNode3DataNode4DataNode5DataNode6DataNode7DataNode812CD……1112….Distributed￿BY(CUSTID)2010201020102010201020102010201020112011201120112011201120112011201220122012201220122012201220122013201320132013201320132013201320142014201420142014201420142014……………………Partition￿BY(DCDATE)数据中心架构-EDW部分8主题域中文名称概念定义Party当事人指金融机构所服务的任意对象和感兴趣进行分析的各种对象。

如个人或公司客户、潜在客户、代理机构、雇员、分行、部门等Internal￿Org 内部组织组织机构（如分行、支行、网点、部门等），也可能是任何一个法人机构当事人的内部组织，严格意义上这些也是一种特殊的PARYAgreement协议是金融机构与当事人之间针对某种特定产品或服务而签立的契约关系，它可以是多样化的，如帐户、客户和银行签订的合同等Asset资产可能采集到的客户的资产（负债）信息，也包括银行向外租赁的资产信息这些信息的来源很多情况下是在客户申请贷款时所提供的各种担保品信息、抵质押品信息等Product产品指为拓展市场占有率，满足客户更广泛需求而制定的可营销的交易品种的集合，产品是金融机构向用户销售的或提供给客户所使用的服务Location地域是希望观察和分析的任何区域，既包括传统类型的地址信息（如国家、地区、城市、区县、街道等），又包括如信息、邮箱、黄页等电子地址信息Event事件是一个范围很广义的概念，可以记录各种与银行相关的活动的详细情况既可以与资金相关，也可以与资金无关；既可以有客户参与，也可以没有客户参与；既可以与帐户相关，也可以与帐户无关；可以由客户发起，也可以由银行发起。

Campaign营销活动记录针对客户所做的宣传、促销等活动的相关信息Finance财务主要包括银行的总帐信息，是描述科目组织、控制、内部核算等银行核心科目帐务以及预算管理有关的内容该主题抽象地描述了银行内部帐务的组织模式，能够适应不同的科目组织体系Channel渠道描述的是当各种事件发生时，当事双方（主要是指客户和银行）进行交互和接触的手段及方法，通过它客户与银行进行接触、购买产品、使用服务并交流信息逻辑数据模型LDM--它是指导数据仓库进行数据存放、数据组织、以及如何支持应用的蓝图，定义需要追踪和管理的各种重要实体、属性、关系金融服务逻辑数据模型（FS-LDM）是NCR经过30年来在全球实施209家金融业数据仓库项目后的经验结晶，是一个非常成熟稳健的逻辑数据模型和全球性产品，蕴含了现代金融服务行业分析决策和客户关系管理的各个方面另外也可参考IBM金融数据模型FSDM，在金融行业（特别是银行）应用也较为广泛12345逻辑设计：金融服务逻辑数据模型￿(FS-LDM)数据中心架构-DM部分912345多层次指标体系业务绩效指标体系营销人员绩效指标体系客户指标体系公司整体融资融券小额贷经纪业务个股期权约定式购回投行业务沪港通股票质押回购资管业务金天利OTC　债券回购新三板期权行权融资l覆盖公司14类业务领域l丰富的维度分析，同比、环比和结构分析l可靠的数据质量，每天勾稽检查核对业务类别客户资产贡献传统业务融资融券金天利期货IB约定购回（金汇通）资产管理柜台市场港股通交易金融产品代销股票质押回购小微通期权l三项指标12类业务矩阵l覆盖开户关系及服务关系标签分类标签属性基本属性社会属性/调研信息账户属性客户属性/账户/权限资产情况保证金/市值/资产变动交易情况成交/佣金/委托投资偏好仓位/换手率/偏好操作偏好渠道偏好/时段偏好盈利能力持仓盈利/累计盈利客户价值现有价值/潜在价值营销感知营销效果服务感知服务反馈l10大类28小类，超过387个客户指标l准确的客户资产、负债数据中心架构-APP部分1012345数据中心报表系统数据中心架构-APP部分1112345客户分析及推荐系统•总体架构与理论•架构详细设计–企业数据仓库（EDW）–数据集市（Data￿Mart）–应用（APP）•下一步工作计划￿12内容Bill￿Inmon￿企业信息工厂架构Ralph￿Kimball数据集市/数据仓库总线架构VS逻辑设计：NCR金融服务逻辑数据模型（FS-LDM）￿物理设计：数据分区与切片业务绩效指标体系营销人员绩效指标体系客户指标体系数据中心KPI报表系统客户分析及推荐系统(￿DA2P)l客户分级分类管理l客户分析及推荐系统二期项目lEDW业务升级（新业务推出，及OTC、集中交易系统升级）国信数据中心路线图（Roadmap）13￿￿￿￿￿￿￿数据集成固定报表、查询报表、数据查询￿￿￿￿￿￿￿KPI/Dashboard/报表：标准化的KPI体系，丰富的数据图表展现￿￿￿￿￿￿￿多维分析：灵活的数据适应，不同用户自助分析￿￿￿￿￿￿￿￿数据挖掘：深入业务的分析、算法模型IntegrationKPISelf￿BIData￿Mining业务价值l￿分离业务交易与历史查询l￿多个业务系统的数据集成，打破信息孤岛l￿快速的历史数据查询l￿及时、准确、一致的数据l￿标准化指标定义和计算口径l￿丰富的图表展现l￿基于丰富的客户标签体系，用户无需编程也能对客户群体进行多维度分析。

l￿支撑精准化营销l￿支撑差异化客户服务l￿利用统计算法找到数据规律l￿更为精准的产品营销l￿更为个性化的客户服务￿关键技术l￿基础技术平台选型￿l￿系统总体架构设计ODS/DW/Data￿Mart层次设计l￿￿数据切片：分布及分区设计l￿￿调度服务：任务依赖、并行、重做管理l￿元数据管理l￿数据质量管理l￿数据模型设计，参考FS-LDMl￿经纪业务指标体系l￿创新业务指标体系l￿营销人员考核指标体系l￿客户标签体系l￿动态立方体解析引擎l￿MPP快速的并行计算能力l￿R统计分析l￿机器学习算法、挖掘算法l￿SPARK并行实施路径l￿2007年，数据中心项目”，基于SQL￿SERVER￿2005l￿2012年，并行数据仓库项目”基于GREENPLUMN￿4.2+Informatical￿2008年，经纪业务指标体系标准化项目，以及后续不断修订的关键指标；l￿2010年，“创新业务考核指标系统”l￿2013年，“营销人员考核指标管理系统”l￿2014年，“客户分析及推荐系统”项目l￿2015年，“客户分析及推荐系统”二期项目l￿2015年，开源R运算平台，集成到“客户分析及推荐系统”项目l￿2016年，客户分级分类管理1234APP基础数据服务客户分析及推荐系统（DA2P）•￿用户接口•￿服务接口数据推送服务数据查询服务数据报送客群算法推荐数据中心报表系统￿2.0￿仪表板报表查询算法及机器学习挖掘算法分析统计分析用户下一步工作计划14数据应用层数据集市层数据仓库层数据资源资讯与市场数据用户渠道应用管理与服务系统业务系统集中交易系统统一账户系统法人清算系统融资融券系统个股期权系统综合管理平台人力资源系统CallCenterCRM聚源资讯数据万德数据金太阳日志鑫网用户日志Talking￿Data……操作数据层ODS业务系统数据区管理服务系统数据区市场资讯数据区用户渠道应用数据区•￿贴源设计•￿保存历史表版本InformaticaGPLoadBCPDump数据采集SQL￿Server￿￿Integration￿ServicesDWE-R￿ModelDimensional￿Model•￿面向主题•￿集成/清洗后的数据•￿保证一致的事实FS-LDM集成清洗维度化转换团体资产财务地域活动协议事件组织产品渠道DM￿￿营销人员绩效指标体系￿￿业务绩效指标体系(KPI)￿￿客户指标体系•￿面向业务•￿部分主题•￿维度模型基本属性投资偏好营销感知账户属性操作偏好服务感知资产情况盈利能力　交易情况客户价值　公司整体融资融券小额贷经纪业务个股期权约定式购回投行业务沪港通质押回购资管业务金天利OTC　净手续费客户维护新增资产客户盈利能力新增有效户息费收入投顾增量佣金利差收入ETL数据管理数据质量管理分布分区管理归档备份计算资源分配系统监控元数据管理维度管理调度服务任务管理任务依赖线程管理调度服务监控服务血缘影响分析重做（redo）管理系统集中交易系统经纪事业部绩效小组经纪事业部财富中心机构业务部资金运营部CRM系统财务系统风控系统渠道应用监管单位系统管理员风控部融资融券部DBA外部总部分支机构IT资产管理部分支机构电脑经理分支机构营销人员客户分析及推荐系统二期•增加客户价值/3A服务体系等指标•功能增强客户分级分类管理•￿客户细分模型•￿客户流失预警（决策树算法）EDW业务升级•新股申购/OTC等新业务和系统升级客户分析及推荐系统（二期）基本属性资产情况账户属性交易情况操作偏好投资偏好营销感知服务感知客户分级指标价值量/佣金/盈利能力/仓位控制/交易频度服务质量体系3A-服务标签模型标签原子标签l￿辅助营销人员识别客户现有价值和潜在价值；l￿提高服务产品覆盖率，增强客户粘性客户价值模型RFM客户服务质量体系3A客户服务等级3A2A1A通道客户l数据共享：ü￿将分析后的数据推送给鑫助手、移动营销平台、综合管理平台等其他系统l系统管理：ü￿数据准备ü￿模型部署ü￿数据监控l数据安全：ü￿数据权限管理ü￿功能权限管理最近交易距离R￿交易频率F￿交易金额M数据资源算法输入算法输出算法包l￿￿数据准备自动化l￿支持数据挖掘任务调度全过程自动调度客户分级分类管理客户分析及推荐系统营销服务平台/鑫助手Data￿MartEDWSchema￿RDDSparkR/Spark￿ML原子标签模型标签TableTableTableTableTableTableSQLSQL任务调度Function()客户细分客户服务客户挽留业务价值推送•￿管理人员•￿业务分析人员•￿投资顾问•￿客户经理客户细分K-MEANS客户流失预警Decision￿Tree Thank You !谢￿谢！。