企业数字化底座与数字化转型方案

郎丰利于2023年8月整理制作，碳排放数字化建设及数字化驾驶舱建设综合解决方案整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行郎丰利于2023年8月整理制作，碳排放数字化建设及数字化驾驶舱建设综合解决方案整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行企业数字化底座与数字化转型方案Page 2议程企业数字化底座与数字化综述企业数字化底座与数字化综述1 1企业数字化底座与数字化总体架构企业数字化底座与数字化总体架构2 2 2 2企业数字化底座与数字化规划设计企业数字化底座与数字化规划设计3 3 3 3企业数字化底座与数字化建设运营企业数字化底座与数字化建设运营4 4 4 4企业数字化底座与数字化未来展望企业数字化底座与数字化未来展望5 5 5 5整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行Page 3集团管理分析类应用建设现状基本分析关注的内容关注的内容关注的内容关注的内容存在的问题存在的问题存在的问题存在的问题基本的现状基本的现状基本的现状基本的现状l集团数据仓库累积数据没有充分利用集团数据仓库累积数据没有充分利用l缺乏面向整个集团的统一、完整的数缺乏面向整个集团的统一、完整的数据视图；据视图；l缺乏支撑集团日常业务运转的风险评缺乏支撑集团日常业务运转的风险评估体系；估体系；l缺乏集团客户缺乏集团客户360360度视图，客户行为度视图，客户行为分析和预测无法实现；分析和预测无法实现；l缺乏面向金融业务运营管理的关键绩缺乏面向金融业务运营管理的关键绩效指标体系；效指标体系；ll集团已建立面向整个扶贫的数据仓库，集团已建立面向整个扶贫的数据仓库，整合了前台业务运营数据和后台管理整合了前台业务运营数据和后台管理数据，建立了面向扶贫的管理分析应数据，建立了面向扶贫的管理分析应用；用；l集团已开展供应链金融、人人贷和保集团已开展供应链金融、人人贷和保理等多种业务，积累了一定量的业务理等多种业务，积累了一定量的业务数据，同时业务人员也从客户管理、数据，同时业务人员也从客户管理、风险评级和经营规模预测等方面，提风险评级和经营规模预测等方面，提出了大量分析预测需求；出了大量分析预测需求；l数据平台、数据应用、数据管控数据平台、数据应用、数据管控数据平台、数据应用、数据管控数据平台、数据应用、数据管控基础数据平台和基础数据平台和基础数据平台和基础数据平台和BIBIBIBI应用建设是未来一段时间的重点！应用建设是未来一段时间的重点！应用建设是未来一段时间的重点！应用建设是未来一段时间的重点！l数据平台整体架构；数据平台整体架构；l 数据平台各层建设的标准；数据平台各层建设的标准；l 较成熟的金融业数据模型；较成熟的金融业数据模型；l 数据质量治理；数据质量治理；l 元数据管理；元数据管理；l 数据标准建设数据标准建设l 数据整合；数据整合；l 数据应用建设；数据应用建设；l 数据平台的软硬环境数据平台的软硬环境lPage 4企业数字化底座与数字化建设目标外部非结构化数据统一制定目标和分析模型统一划分分析主题统一设计数据模式统一规划分析方法统一部署技术基础统一定义BI 应用自定义报表工具自定义报表工具行列的简单定义方式行列的简单定义方式多种格式报表多种格式报表集团决策层集团决策层集团职能管控层集团职能管控层各级业务操作层各级业务操作层关注集团主关注集团主要经营指标要经营指标业务人员使用业务人员使用BIBI应用应用实现业务协作和创新实现业务协作和创新BI BI 分析工具分析工具供应链金融系统POP系统其他业务系统云数据推送平台已实现了主要扶贫及金融业务系统数据清洗、整合，为未来集团数据平台提供了丰富的数据源。通过数据平台和BI应用建设，集团将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力采购管理系统查看职能部门的查看职能部门的业务经营情况业务经营情况Page 5企业数字化底座与数字化建设预期收益2.2.加强业务协作加强业务协作实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的集团级视图，有效促进业务的集成和协作，并为集团级分析、交叉销售提供基础3.3.促进业务创新促进业务创新集团业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为金融业务创新（客户服务创新、产品创新等）创造了有利条件4.4.提升建设效率提升建设效率通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行效率5.5.改善数据质量改善数据质量从中长期看，数据仓库对集团分散在各个业务系统中的数据整合、清洗，有助于集团整体数据质量的改善，提高的数据的实用性通过数据平台实现数据集中，确保集团各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为集团重要资产的业务价值1.1.实现数据共享实现数据共享Page 6议程企业数字化底座与数字化综述企业数字化底座与数字化综述1 1 1 1企业数字化底座与数字化总体架构企业数字化底座与数字化总体架构2 2企业数字化底座与数字化规划设计企业数字化底座与数字化规划设计3 3 3 3企业数字化底座与数字化建设运营企业数字化底座与数字化建设运营4 4 4 4企业数字化底座与数字化未来展望企业数字化底座与数字化未来展望5 5 5 5整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行Page 7企业数字化底座与数字化总体架构历史数据查询数据交换平台应用集市数据区集团扶贫供应链金融人人贷系统基金系统系统集团内外部半结构化、非结构化数据大数据交换组件数据库数据交换组件数据区数据交换组件数据计算层大数据区沙盘演练数据区数据应用层实时数据区客户主题协议主题产品主题业务沙盘演练数据增值产品 扶贫数据供应链数据增值产品数据区主题数据区 用户访问层客户汇总账户汇总机构汇总 社交媒体移动互联用户评价访问日志处理后大数据待处理大数据流程调度监控告警数据标准数据质量元数据数据安全流程调度平台数据管控平台流程调度层数据管控层数据产生层数据交换层实时数据查询客户管理财务管理外部用户贴源数据区内部管理分析内部用户历史归档数据区IT人员风险管理Page 8企业数字化底座与数字化总体架构数据产生层l内部业务系统产生的结构化数据内部业务系统产生的结构化数据v集团日常扶贫处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水集团日常扶贫处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水 v集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水 l集团内部非结构化数据集团内部非结构化数据v日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评l集团外部数据集团外部数据v集团外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息集团外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息 源数据内容源数据内容l在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据l集团和集团业务系统的数据集团和集团业务系统的数据v增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现v对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量v初始数据加载均采用全量模式初始数据加载均采用全量模式源数据增量源数据增量Page 9企业数字化底座与数字化总体架构数据交换层数据交换层设计目标数据交换层设计目标传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能保证数据在平台内高速流转高速流转保证数据交换过程中不失真不失真保证数据交换过程中不丢失不丢失保证数据交换过程安全可靠安全可靠数据区数据交换组件数据库数据交换组件大数据交换组件集团系统集团系统数据服务层外部外部大数大数据据集团系统集团系统Hadoop元数据云数据推送平台云数据推送平台数据平台导入临时区数据平台导出临时区NAS 存储ETL程序区Page 10企业数字化底座与数字化总体架构数据交换层NAS存储HadoopHadoop集群元数集群元数据区据区数据平台数据平台ETLETL数据数据处理程序区处理程序区数据平台临时数数据平台临时数据区据区存储数据平台各个Hadoop集群的元数据信息，如：HDFS文件系统元数据集团数据交换平台每日获取运输局推送平台提供的业务系统变化数据，暂存在NAS临时数据区金融数据平台加工计算结果返回给业务系统，暂存在NAS临时数据区数据平台ETL加工处理程序（数据压缩、数据加载、各数据数据处理等）统一存储在NAS集群指定目录，各接口服务器通过文件系统Link建立映射Page 11企业数字化底座与数字化总体架构数据交换层大数据交换组件l集团内部非结构化、集团内部非结构化、半结构化数据，如：半结构化数据，如：音频、视频、邮件、音频、视频、邮件、OfficeOffice文档、抵押文档、抵押品扫描件等品扫描件等l集团外部非结构化、集团外部非结构化、半结构化数据，如：半结构化数据，如：微博、贴吧、论坛、微博、贴吧、论坛、用户点击流、用户用户点击流、用户移动位置等移动位置等l批量采集：大数据批量采集：大数据源以源以SFTPSFTP协议批量协议批量传输数据文件传输数据文件l在线访问：开发在线访问：开发JavaJava或或C C应用，调用应用，调用大据源大据源APIAPI，或以网，或以网络平台爬虫方式抓络平台爬虫方式抓取源系统非结构化、取源系统非结构化、半结构化数据半结构化数据l组件以实时和批量组件以实时和批量两种模式实现下列两种模式实现下列功能：功能：v数据采集数据采集v数据传输到数据交换数据传输到数据交换平台（接口服务器）平台（接口服务器）NASNAS指定目录指定目录v存储数据到数据平台存储数据到数据平台大数据区指定大数据区指定HDFSHDFS目目录录l定时抽取用户访问定时抽取用户访问日志，加载到数据日志，加载到数据平台大数据区平台大数据区HDFSHDFS指定目录，指定目录，MRMR程序程序加工处理加工处理l开发网络爬虫程序，开发网络爬虫程序，扫描用户微博，抓扫描用户微博，抓取用户微博内容，取用户微博内容，社交圈信息，存入社交圈信息，存入大数据区大数据区处理对象处理对象实现技术实现技术实现功能实现功能应用场景应用场景Page 12企业数字化底座与数字化总体架构数据交换层数据库数据交换组件l集团内部业务系统产集团内部业务系统产生的结构化数据，包生的结构化数据，包括两大来源：括两大来