2023数据治理平台解决方案
80页1、数据治数据治理平台理平台解决方案解决方案上海最闻信息科技有限公司数据治理平台数据治理平台 DStreamDStream兼收并蓄各类数据来源,丰富数据资产,实现优 势互补,打通数据流向。通过多源融合、多路择优、自主计算、网络爬虫 等技术手段,大幅提升资讯数据及时性、准确性、全面性。构建灵活多样的数据服务体系,满足下游系统多 种数据需求,支持不同业务场景。针对共性需求、热点需求,打造资讯业务专题,使资讯触手可及 数据数据治理核心需求治理核心需求数据资产数据生态数据服务数据质量 丰富 数据服务形式与能力提升 数据质量监控与择优降低 对单一数据源的依赖打造 自主品牌的资讯终端打通 内外部各系统数据流统一 资讯数据模型与标准避免 重复的数据资源投入节约20%以上资源重复投入有效解决资讯数据繁杂难用充分融合和挖掘数据价值主动发现和优化数据错误避免因数据源变化影响业务全面支持各类业务系统需求建立可持续的资讯数据资产数据数据治理实现目标治理实现目标第三代数据中心平台FinDig(2010年)第二代数据中心平台(2007年)第一代数据中心库(2018年)最闻科技2007年之前最闻数最闻数据治理发展据治理
2、发展DDSDDS:数据转换设计系统数据转换设计系统DVSDVS:数据校验监控系统数据校验监控系统DTSDTS:数据采集跟踪系统数据采集跟踪系统DCSDCS:数据多源比对系统数据多源比对系统DISDIS:数据融合服务系统数据融合服务系统DMSDMS:数据管理服务系统数据管理服务系统DPSDPS:数据终端平台系统数据终端平台系统DSSDSS:数据同步分发系统数据同步分发系统 数据融合:数据融合:采集和融合各种渠道和形态 的数据来源,打造统一模型标准和质量 监控机制的数据仓库体系。数据应用:建立灵活高效的数据发布服 务管理系统,打造自主品牌和高可控的 资讯数据服务终端平台。应用应用融合融合最闻数最闻数据治理平台解决方案据治理平台解决方案DMSDMSDPSDPS DDSDDS融合融合应用应用DISDIS最闻数最闻数据治理方案据治理方案 数据源支持广泛分布式调度平台完整的产品体系融合大数据平台数据加工套件库增加大数据特性数据处理流式化数据治理平台数据治理平台(DStream)DStream)高时效支持批量数据定时处理支持增量数据实时跟踪处理通过CDC技术实现数据源变动的零延时监控多形式结构化数据
3、和非结构化数据、厂商数据和自产数据、传统关系型数据、海量大数据多种形式数据处理网站、邮件、文件(PDF)、图片、终端、接口智能化采集处理能力全监控数据库跟踪、服务器状态、作业运行与负载压力监控数据质量跟踪校验预警监控多源融合比对择优异常提醒与运维监控上海最闻信息科技有限公司 真正的分布式调度集群架构 实现服务集群和任务分片2层维度分解 支持对作业进行 CPU内存资源细粒度控制,确保高效稳定最闻数最闻数据治理平台优势据治理平台优势技术技术优势优势结构化非结构化分布式 集群架构批流一体模式数据库作业血缘高可用 金融资讯数据有二进制文件、文本等大字段,这 些大字段不适合推送到Kafka等消息总线 金融资讯数据的处理经常需要用到关联查询,如 果采用纯流式,每条数据在处理时需要单独去查 询,这样效率非常低。同样,数据处理完成后需要写入到数据库时,也 需要批量插入这样效率最高 资讯数据模型众多,数据清洗逻辑复杂,运维易 操作要求高,大量硬编码模式,可操作性低 数据的批流处理能力 具备实时窗口统计能力 Flink Beam高可用集高可用集群体系架构群体系架构大数据集群框架金融资讯数据不适合于类似框架
4、框架主要能力 Mesos ElasticJob Mesos-master Mesos-slave JobSchduler JobExecutor高可用集高可用集群体系架构群体系架构基于Apache开源框架分布式弹性资源管理分布式作业调度管理 Mesos:分布式资源管理框架 ElasticJob 分布式作业调度框架高可用集高可用集群体系架构群体系架构 作业失败自动重试作业资源按需配置集群资源弹性扩容作业服务器动态分配作业分作业分布式集群运行布式集群运行 充分利用集群资源多分片高并发模式大幅提升处理效率业务数据顺序保证作业分作业分片高并发运行片高并发运行1、CDC服务监听数据源变动2、变动数据推入kafka对应topic3、转换作业监听kafka对应Topic变动数据记录4、转换作业执行数据清洗逻辑5、转换作业推送每条数据成功/失败状态到Kafka6、数据处理结果回写到Mysql数据库,提供管理支持 DStreamDStream产品集群产品集群架架构构每一行记录的处理都是并行的,不是串行 的,不需要等待一行记录处理完成,会通过putRow方法,直接送到下一个处理组件整个处理过程中,不需要序
5、列化,不需要 内存复制,没有效率损失所有执行过程是可重复执行 资讯数据除了新增,还有大量更新和删除操 作同一张表同一条记录的多次变动,处理过 程要保持顺序。多次执行,结果冥等(多次执行结果一致)基于并行架构的基于并行架构的ETLETL技术技术实实现现ETL并行处理的批模式金融资讯数据特点 金融资讯数据转换过程中,业务逻辑复杂,如果纯编码方式进行处理,开发效率低,测 试周期长,成本高。需要图形化工具来设计 转换业务逻辑。适用于金融数据处理的组件。提供了提高处 理效率的组件。DSTREAM还优化了部分KETTLE原生组件。对于ETL任务的运行,DSTREAM平台使用了 KETTLE的组件模型,但是接管了任务所有其 它工作。DSTREAM提供了大量ETL组件ETL业务逻辑的图形化设计工具一个ETL任务数据流程模式的应用KettleKettle在在DStreamDStream中的应中的应用用DSTREAM基于KETTLE的组件模式,定制开发 1000万条数据初始化完成清洗转换8分钟完成单个作业平均数据吞吐量可以达到120万条/分钟(和服务器性能和服务器性能有关有关)高效数据高效数据处理能力处理
《2023数据治理平台解决方案》由会员小****头分享,可在线阅读,更多相关《2023数据治理平台解决方案》请在金锄头文库上搜索。
数据治理概述及技术解决方案
2023数据治理平台解决方案
数据治理之主数据管理技术方案详解
Informatica主数据管理建设方案74
2023企业的主数据建设方法论与实践
大数据治理平台与数据运营体系建设方案
数据安全运营体系建设方案
大数据资源中心建设总体方案
大型集团主数据管理系统建设规划方案
大数据治理平台总体规划方案
集团企业大数据治理平台解决方案
企业大数据治理平台总体规划方案
用友主数据管理解决方案
银行数据治理平台系统介绍
物质分类与编码主数据管理
大数据治理体系解决方案
大数据平台数据治理与建设方案(1)
企业数据治理解决方案
大数据治理平台建设解决方案
数据治理解决方案(适用银行金融业)-V1.9
2024-02-20 76页
2024-02-20 61页
2024-02-20 53页
2024-02-20 55页
2024-02-20 77页
2024-02-20 76页
2024-02-02 29页
2024-02-02 49页
2024-02-02 23页