四问数据中台-技术雷达.pptx

四问问数据中台史凯凯ThoughtWorks数据和智能总监数据中台实实践剖析四问数据中台史凯关于我数字化转转型布道者精益数据资产创资产创 新体系的提出者超过过15年企业战业战 略咨询询及架构实实施经验经验为为众多大型企业业提供流程再造、IT规规划、ERP系统实统实 施、大数据平台架构实实施服务务2019 DataIQ 100 “Data Enabler”史凯/凯哥Head of Data&AIhttps:/www.dataiq.co.uk/dataiq100本场场交流关注以下4个问题问题数据中台是什么，对企业的价值在哪里数据中台和数据仓库 ，数据平台的区别是什么构建数据中台的策略和原则数据中台的数据治理应该 如何做数据中台就是Data API工厂加速从数据到价值值的过过程数据中台是什么，对企业的价值在哪里案例解读读:某多业态业态 企业业数据中台数据资产 目录数据实验 室数据服务市场算法/应用服务市场数据展示服务服务监 控数据获获取全面高质量实时采集价值数据跨越数据孤岛数据开放共享数据治理数据资产 的管理高性能处理多样化海量数据治理企业数据质量数据分析多源数据分析多种数据分析技术智能技术的应用实时 /协作数据分析架构业务业务 价值值数据创新的不确定性创新价值优 先级数据创新可行性验证数据服务务数据服务构建数据服务消费数据服务治理数据生态态打造企业数据生态数据资产变现数据服务的分享交易起源：数字化转转型进进入数据驱动驱动 的时时代如何在海量的数据中快速发现业务发现业务 价值值，并通过过大数据、智能技术进术进 行实验实验 ，验证验证 价值值，变变成数据服务务，快速提供给业务给业务 ，是数据驱动驱动 的关键键挑战战数据安全挑战传统传统 的数据实实施方法、工具无法满满足业务业务 的快速变变化需求核心问题问题 ：应应用开发发和数据开发发不协协同效率问题问题为什么应用开发一个报表需要十几天的时间为什么不能实时获 得用户推荐清单协协作问题问题为什么获取的数据总是错的如何知道企业都有什么数据同样的数据逻辑为什么要开发两边？就是因为是不同的项目组么？能力问题问题应用开发的人员很多懂数据开发的人员很少数据中台是加速从数据到价值值的服务务工厂System of InnovationSystems of RecordGartner : Pace Layered Application Strategy应应用数据System of Differentiation数据中台数据资产 的规划和治理业务 价值的探索和分析数据资产 的共享和协作数据服务的度量和运营启发发：数据中台对对企业业的作用数据驱动 的智能企业数据资产 的获取和存储数据服务的构建和治理Lean Data Innovation Architecture控制中心监监控管理原材料仓库仓库 /数据湖办办公室数据治理智能创创新实验实验 室数据流水线线数据集市/产产品仓库仓库厂房数据源数据通道采购购/过过秤数据源为为原材料来生产产新的数据产产品，最终终在数据服务务商店中销销售这这些数据产产品。

数据采集广义义数据中台：数据服务务工厂数据服务务商店数据服务务工厂利用数据作11Data Infrastructure& ToolingCloud based & SelfServiceData ProductsDomain orientedIntelligent (ML)InfraCloud based & SelfServiceIntelligent (ML)ProductsContinuousExecuted with Continuous DeliveryGOVERNANCETECHNOLOGYOPERATIONThoughtWorks 2019 Commercial in ConfidenceSupported by Distributed Data Organization Design & Operation ModelGoverned globally by Lean Data Governance ModelComposed of 4 Self-serve and Product Oriented Technology Pillars数据中台是一个体系Led by Lean Data Strategy & Portfolio ManagementSTRATEGY &ServicesIntelligentServicesServicesIntelligentServicesAnalytical Data PlatformStreaming InfrastructureCustomer ExperienceDomain EventData ProductIntelligence Infused Domain CapabilitiesML InfrastructureIntelligentIntelligentServicesExploratoryIntelligentServicesData Metrics & VisualizationData Marts & BIAutomated Actions& DecisionsLearned InsightsProductsDataInsightsDecisionsData Infra & ToolingIntelligent (ML) InfraIntelligent (ML)ProductsData ProductsData InfrastructureInformationAnalystDelivery OwnerDecision OwnerScientistWays of working数据中台+智能中台Actions数据中台距离业务业务 更近从“T+N”到“T+0”数据中台和数据仓库 ，数据湖的区别是什么分布式数据库HBaseSqoopPentano结构化数据源HBaseHBase关系型数据库My SQL分布式搜索引擎ES Cluster1 ES Cluster2分布式文件系统HDFS案例解读读：从“T+N”到“T+0”OLTP+OLAP启发发：数据仓库仓库 、数据平台和数据中台数据中台、数据仓库 和数据湖没有直接的关系在某个维度上他们为业务产 生价值的形式有不同的侧重数据中台距离业务 更近，能更快速的响应业务 和应用开发的需求，可追溯，更精准数据仓库仓库分析报报表即服务务数据平台数据集即服务务数据中台数据API即服务务业务业务 价值值出发发演进进式架构战战略耐心构建数据中台的策略和原则销销售目标标拆分和优优化算法模型店购买购买 特征分析经销经销 商分层层运营营基于店购买倾购买倾 向的产产品推荐Digital Marketing分仓仓和库库存优优化案例：100万内构建数据中台MVP数据中台的需求，来自于场场景但高于场场景全场场景规规划，小场场景启动动演进进式，敏捷数据中台两个战战略耐心投资资方的战战略耐心从数据到价值值有一个过过程建设设方的战战略耐心不要期待一次性，大而全从“管控式”到“服务务式”治理“轻轻”标标准，“重”场场景元数据驱动驱动 ，从事前到事后数据中台的数据治理应该 如何做探索识别识别规规划DiscoveryDefineExperimentPlan验证验证 (O)1.0 导入培训1.1 统一业务愿景1.2 设定业务目标1.3 数据全景探索1.4 创新价值蓝图1.5 价值优先级度量标准1.6 业务场 景价值排序2.1 业务场 景定义2.2 数据现状差距分析2.3 算法需求分析(可选)2.4 技术需求分析2.4 最小可用产品启动(可选)3.1 样本数据采集3.2 数据分析3.3 实验和价值验证(可选)4.1 后续工作范围定义4.1.1 智能应用层4.1.2 数据中台层4.1.3 数据治理层4.2 数据服务蓝图 架构4.3 项目计划Lean Data Discovery精益的数据和智能驱动驱动 的数据中台构建方法Think Big, Start Small,Move Fast总结总结 I：数据中台构建四部曲总结总结 II：数据中台参考技术栈术栈22EnvisData ResolverAnalysisVisualizationData LakeData ChannelMetaData ManageMentSchedulerDWGPFSWhereHowsInfomaticSPAOracleData AssetsData ServiceData DiscoveryTHANK YOU。