企业数字化转型大数据湖一体化运营管理平台建设方案

郎丰利于2023年8月整理制作，碳排放数字化建设及数字化驾驶舱建设综合解决方案整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行郎丰利于2023年8月整理制作，碳排放数字化建设及数字化驾驶舱建设综合解决方案整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行企业数字化转型大数据湖一体化运营管理平台建设方案企业大数据湖总体规划及大数据湖一体化运营管理建设方案2目录背 景：大数据湖的发展背景与建设理念1生态圈：探索新兴业务入湖建设模式3共 享：大数据湖统一访问共享规划4运 营：大数据湖一体化运营管理建设5体 系：大数据湖体系规划与建设思路2整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行企业大数据湖总体规划及大数据湖一体化运营管理建设方案3数据架构与承载体系的演变过程数据架构与承载体系的演变过程完整性、一致性、交互稳定性，并发性，异常可恢复性数据库时代关系型数据库解决了信息时代的数据资源存储和管理，实现了电子化的文件柜采用数据模型表示数据结构，冗余小面向事务管理，具有ACID特性数据统一管理和控制，易维护和扩充程序与数据独立，具有良好用户接口1数据仓库时代DW研究和解决了从数据库中获取信息的问题，通过OLAP、数据挖掘等帮助企业决策分析，构建商业智能（BI）面向主题的，关注用户重点业务集成的，跨越历史、区域、系统稳定的，具有只读性质，以查询为主以时间序列存储，非规范化管理2大数据平台时代面对大数据5V特点，采用分布式、并行化的存储和计算架构，提升数据处理能力对象：PB级，80%以上非结构化数据技术：分布式架构、云计算、虚拟化等CAP原理：CAP BASE目标：线性扩展、弹性计算、实时响应、动态调节31970 s1990 sBill Inmon提出DW概念E.F.Codd发明DBMS2000 sGoogle发布三篇论文存储经济性、高性能、高扩展、高并发、灵活模型适配性企业级跨域整合、业务扩展性、架构设计合理性、流程规范性企业大数据湖总体规划及大数据湖一体化运营管理建设方案4背景：数据快速入湖，分析更加智能，应用更加多样，服务更加开放背景：数据快速入湖，分析更加智能，应用更加多样，服务更加开放u更多企业数据将进入数据湖，来自传统系统的数据和传感器等新型数据资源不断融合，数据孤岛将继续被打破。u随着大数据分析能力的不断提高，人工智能的重要性被逐步提升。当今最先进的机器学习和人工智能系统正在超越传统的基于规则的算法，创建出能够理解、学习、预测、适应，甚至可以自主操作的系统。数据服务数据应用数据分析数据治理数据平台以更加深度的数据开放，跨行业大数据关联。以更多样的应用能力，构建针对性行业解决方案。数据平台存储方式向数据湖模式转变，多数据汇聚。支持结构化，半结构化和非结构化数据多数据入湖。入湖即治理，针对性对数据源系统输入数据制定入湖标准数据驱动治理规范，以数据为核心实时制定治理规范。从深度学习到机器学习，从机器学习到人工智能。基于数据湖的大量的原始数据，深度训练，快速分析智能应用，基于AI与机器学习分析，个性化服务提供。应用快速构建，基于数据湖进行细粒度的收集、探索和分析数据湖数据治理数据分析数据应用数据服务数据驱动规范，入湖标准制定人工智能分析，直引湖中数据大数据发展趋势分析应用更加智能，构建更加快速深度数据开放，针对方案制定企业大数据湖总体规划及大数据湖一体化运营管理建设方案5数据湖产生背景及概念提出数据湖产生背景及概念提出企业现在正处于大数据的企业现在正处于大数据的“焦虑期焦虑期”p存储成本问题：海量数据需要在多环境、多级下重复存储，存储开销大p数据形态问题：应用大多聚焦在经过加工后的再生数据，原始数据无法得到充分利用p业务响应问题：必须事先进行充分规划和较长周期加工，欠缺运营所需的灵活性和时效性数据集市数据湖问题问题？挑战挑战？变革变革 ！数据湖一词是数据湖一词是20112011年由年由PentahoPentaho首席技术官詹姆斯首席技术官詹姆斯 迪克森最初提出的，参照迪克森最初提出的，参照“数据集市数据集市”得来。得来。较小的数据存储库如同瓶装水，经过过滤包装结构化后以供使用数据来源于不同地方如同湖泊，存储更自然状态下的大量的水n预先设定问题n使用方式单一n集中存储+无限能力n用户各取所需企业大数据湖总体规划及大数据湖一体化运营管理建设方案6把不同结构的数据把不同结构的数据统一存储统一存储，使不同数据有一致，使不同数据有一致的存储方式，在使用时的存储方式，在使用时方便连接方便连接，真正解决，真正解决数据数据集成集成问题。问题。n全部采集（Collect Everything）n随处研究（Dive In Anywhere）n灵活访问（Flexible Access）数据湖的定义与特性数据湖的定义与特性存储一切，分析一切，创建所需数据湖数据湖（Data LakeData Lake）核心思想核心思想 把你以前在磁带上拥有的东西倒入到数据湖，然后开始探索该数据。重要的 只把需要的数据倒入到Hadoop；如果你想结合来自数据湖的信息和客户关系 管理系统（CRM）里面的信息，我们就进行连接，只有需要时才执行这番数 据结合。整理制作郎丰利1519 数据湖是一种在系统或存储库中以自然格式存储数据的方法，它有助于以各种 模式和结构形式配置数据，通常是对象块或文件。湖中的数据包括结构化数据 从关系数据库（行和列），半结构化数据（CSV、XML、JSON的日志），非 结构化数据（电子邮件，文档，PDF）和二进制数据（图像、音频、视频）从 而形成一个集中式数据存储容纳所有形式的数据。詹姆斯詹姆斯 迪迪克克森森维基百科维基百科企业大数据湖总体规划及大数据湖一体化运营管理建设方案7从对比中理解数据湖概念从对比中理解数据湖概念 优势篇优势篇对比项数据仓库数据湖支持数据类型有限的数据类型支持，以结构化为主支持结构化，半结构化和非结构化数据数据采集方式过程开始于业务流程识别，通常由数据管理者和业务负责人基于数据和业务的某种假设在数据湖世界里，没有关于已经取得的数据假设。一旦数据发生，即开始在细粒度级别收集数据。业务流程发现基于数据与输入数据数据处理能力写入模式，建立模型对数据进行某类格式和结构的处理，为了减少数据的复杂性，比较难于实现上卷（Roll up）和钻取（Drill down）分析，该设计可能需要妥协一定粒度的数据读取模式，接受原始形式的数据，在数据细粒度级别收集、探索和分析非常简单架构重建能力数据库架构演变需要谨慎，过程耗时，成本较高，影响较大，需要对原有数据进行重构不存在结构问题，支持复杂数据类型，便于重置数据模型、查询和应用，并具有简单的重建关系的能力动态性敏捷性差，采用静态固定配置，基于业务流程驱动而设计系统高度敏捷，动态灵活配置，基于数据的业务流程定义扩展性提供预定义的业务需求点燃创新和新的商业机会企业大数据湖总体规划及大数据湖一体化运营管理建设方案8从对比中理解数据湖概念从对比中理解数据湖概念 劣势篇劣势篇对比项对比项数据数据仓库数据湖数据湖数据规划体系具有周密的数据周密的数据发现、采集、探索和、采集、探索和转换的数据的数据计划划，易于突显数据价值不太重视事先的数据规划，允许存储任何数据，难以抓取数据价值难以抓取数据价值数据利用效率数据利用率高数据利用率高，按数据优先级和数据可用性的大小进行组织，可以快速定快速定位所需数据位所需数据数据利用率低，缺少数据优先级排序缺少数据优先级排序，需要花费大量时间查找和分析前的准备数据需求响应能力具有较高的需求响高的需求响应能力能力，可以保证平稳高效的数据访问数据响应延迟较高响应延迟较高，整个分析过程容易中断复杂性和难度较低，建设规模与成本可控很高，建设难度与规模呈线性增长趋势，隐性成本较高逻辑可解释性数据组织逻辑性强，数据关系可解释性较高欠缺语义一致性和严格的元数据，数据关系较为松散，难以解释安全性多年发展历程，保护数据的能力比较成熟比较新的技术，需要持续完善适用对象企业的业务行家和专业人员，技术门槛低技术门槛低面向熟练用户、科学领域的数据科学家，技术门槛高技术门槛高潜在风险潜在风险数据湖数据湖数据沼数据沼泽企业大数据湖总体规划及大数据湖一体化运营管理建设方案9数据湖是大数据概念的延伸数据湖是大数据概念的延伸p多样化的数据存储p高效的数据处理p存储全部数据p处理任何数据p访问任何数据数据能力要求n支持所有用户n更容易适应变化n更快的洞悉能力IT能力要求数据湖的能力视图数据湖并非是个全新概念1.“数据湖”是关于企业应用大数据的概念，是面向企业的最佳的大数据的解决方案2.“数据湖”不仅是数据存储和处理的单元，也是释放数据价值的过程3.企业大数据应用成功的关键并不是存储所有的数据，而是要创建一个更有意义的“数据湖”，帮助企业加速提取高价值数据的速度4.数据湖是大数据发展方向上的高级阶段大数据发展方向上的高级阶段，是一种建设理念，一种建设理念，而不是一种特定的实施方法5.“数据湖”是个架构概念，是数据仓库的一种演进，是一种大数据概念下的延伸大数据概念下的延伸企业大数据湖总体规划及大数据湖一体化运营管理建设方案10数据湖概念上的甄别数据湖概念上的甄别1、用于安置企业所有数据的一个数据仓库或数据集市2、替代运营数据存储（ODS）3、高性能的生产环境4、生产型报表的应用程序5、一个专门建立的系统来解决一个特定的问题（尽管专门建立的数据集市可以从数据湖中提供）1、用户可以访问大量原始数据的环境2、一个开发和验证分析模型的环境，然后将其转化为生产3、用于探索数据以获得洞察力的分析沙箱4、企业级目录，可帮助用户查找数据并将业务术语与技术元数据链接起来5、一个支持重用数据转换和查询的环境数据湖是数据湖是数据湖不是数据湖不是企业大数据湖总体规划及大数据湖一体化运营管理建设方案11数据湖体系的架构规划数据湖体系的架构规划HadoopHadoop不一定是数据湖的组成部分，只是它是目前最理想的选择不一定是数据湖的组成部分，只是它是目前最理想的选择！数据湖的逻辑架构数据湖的数据架构p持久层（持久层（Persitent LayerPersitent Layer）：）：存放所有从内部和外部获取的结构化、半结构化和非结构化数据p分析沙箱（分析沙箱（Analytics SandboxAnalytics Sandbox）：）：数据科学家和分析师被授予持久层的访问权限并使用进行数据研究和实验p探索数据源（探索数据源（CuratedCurated）：）：数据分析师会将有商业价值的数据进行处理并创建新的数据源以提供给业务分析师p可操作层（可操作层（Operational layerOperational layer）：）：业务分析师继续精炼已处理过的数据，和数据管理团队一起将这些数据转换为更为容易操作和使用的数据，存放之以便得到更广泛的使用企业大数据湖总体规划及大数据湖一体化运营管理建设方案12数据湖建设的四个阶段数据湖建设的四个阶段p整合数据湖基础设施p可扩展的数据处理和摄入p数据目录管理趋于完善pEDW与Data Lake协作p对外生产价值输送能力p数据服务和运营管理能力p端到端的业务支撑能力p稳定的成熟度服务架构p灵活完善的企业运营模式p分析能力增强p优化探索环境p丰富价值发现模型价值挖掘阶段基础架构阶段成熟运营阶段协作交互阶段01020304大多数企业处于前三个阶段的建设和完善过程中企业大数据湖总体规划及大数据湖一体化运营管理建设方案13建建设难点与点与风险数据湖关数据湖关键点点数据湖体系的建设要点与风险分析数据湖体系的建设要点与风险分析灵活自动化的采集与存储组织和编目数据管理统一