大数据管理中心大数据资源平台规划设计方案
郎丰利于2023年8月整理制作，碳排放数字化建设及数字化驾驶舱建设综合解决方案整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行郎丰利于2023年8月整理制作，碳排放数字化建设及数字化驾驶舱建设综合解决方案整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行大数据管理中心大数据资源平台规划设计方案目录2整体规划方案关键能力实现方案实施方案背景与需求分析整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行大数据已成为城市治理的必要基础大数据里有民意有民心用大数据改善政府服务、更好满足群众需求 要依托互联网、大数据优化再造政府办事流程 同时也要加强数据安全保护智慧型政府善政惠民 兴业城市大数据科学管理 精准调控 高效协同服务民生 拉动产业 孵化创新依托长远规划 立足城市服务 构建价值平台公共数据共享社会数据协同数据服务开放社会治理宏观经济市场监管生态保护促进产业发展拉动数字经济优化城市资源配给 促进城市科学管理应急响应事件预防整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行统一汇聚 推动业务数据协同形成统一的跨部门、跨地域、跨层级的 信息交换共享房产局 房产交易所购房资格审核交易手续确认购房能力评估税务局住建委人社公安税收审核税收缴纳社保年限缴纳金额房产评估人户核实户口迁转民政婚姻状况大数据平台人社数据民政数据税务数据金融信贷数据人员户口数据促进数据联动协同构建数据支持体系逐步实现立体化、多层次、全方位的数 据服务体系有效支持电子政务公共服务能力提升横向协同纵 向 联 动市级单位区级单位社会企业价值提炼 支撑精准服务与科学管理宏观数据分析应用城市人口分析规划人口迁移分析人群特征分析人群发展预测社会安防环保数据金融数据公共服务交通数据医疗数据社保数据公共安全分析预测建筑安全评估人流分析预警生态环境分析研判大气污染分析水质资源分析大数据平台资源领导决策政策研究资源投放算法算力存储整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行实时感知 辅助城市治理高效运行市公安物业单位运营商市急救中心大数据平台 事件感知&实时处理消防部门消防接警消防出警救护车资源调拨急救医护资源调拨事故路段增派人手沿途路线道路疏通疏散建筑人群检查应急通道短信通知涉事区域人员实时监控区域人流实时感知策略研判实时传递协同处置数据互补 以数据供给促产业发展人口库法人库电子证照库空间地理库公共数据航空公司延误旅客数据大数据平台市级数据库个人信用评级社会数据公共社会数据相互促进金融机构出行数据个人征信数据保险公司 航班延误险定价小型金融机构 个人信用评估个人征信数据延误旅客数据分析现有平台现状，补足能力短板BDACE数据归集的频度无法满足业务协同需要未规划数据实时采集技术，无法支撑高效业务协同城市精细化管理缺乏基础数据保障数据共享和开放能力不全面，应用创新动能不足安全管控能力待提升数据授权、使用、审计的全生命周期管控存在短板，数据的安全防护有待提升未实现数据的统一运营，管理及维护难度过高 设备、平台、数据规模高速增长，难于实施高效数据治理，无法及时发现、诊断及解决问题源端数据标准各异，加工存在技术壁垒 湖&库缺乏统一规划，数据标准还需完善 应用支撑能力较为薄弱，容易形成数据沼泽目录10整体规划方案关键能力实现方案实施方案背景与需求分析大数据资源平台目标体系规划数据 标准资源 目录安全 体系整合数据能力赋能智慧运营政策 法规运营 策略打造信息化枢纽平台 能力统一管控技术平台逐步实现数据能力规模发展 围绕城市治理提供全产业链服务数据联动数据汇聚管理 制度大 数 据 体 系数据治理AI服务业务服务数据服务促进大数据供给侧改革，围绕 大数据各项能力开放，推动数 据应用创新发展，激发数据价 值整合现有公共数据资源，布局 行业数据引入，逐步形成城市 数据枢纽搭建数据，业务，智慧三大 中台，与行业先进技术保持 同步演进；打造城市数据运 营、事件管理等数字孪生技 术能力1数据 汇聚3服务赋能2技术 驱动建设目标与思路使能高效协同，全面优化数据动态更新与同步机制推动公共数据完整归集，按需及时同步和更新公共数据，形成大数据枢纽，保证委办间政务协同驱动数据应用，进一步完善大数据中心主题库建设完成主题数据库建设，推动数据资源整合及数据分析应用聚焦服务赋能，初步构建中台能力开放体系搭建统一流数据处理和业务中台，并完善数据共享服务与数据分析和可视化 服务，提升数据共享与开放效能加强数据运营，推动全市数据统一标准化管理及运维构建统一数据开发与调度，增强数据管理能力 建立统一数据运维和自有的大数据组件技术栈，保障平台稳定运营确保安全可控，完善数据安全和平台安全管控建立完整的平台安全和数据安全管控体系，保障数据安全管控13市领导各委办局分析人员区政府外部机构公民开发者运维管理者数 据 层服 务 开 放 层门 户应 用 层非结构化数据区对外开放区对外数据开放脱敏区数据沙箱数据沙箱数据沙箱视频数据音频数据图片数据数据私有数据处理一期升级开放中心一网通办城运系统运营中心分布式存储分布式分析数据库RDB存储缓存存储采 集 分 发 层数据管理元数据 管理数据开发数据质量 管理数据安全安全合规 管理安全配置 检查网络安全 分析安全事件 响应敏感数据 加密敏感数据 脱敏数据泄漏 防护数据目录任务调度统一 运维数 据 运 维平 台 运 维数据标注共享中心业务中台服务规则定义事件管理AI中台服务边缘计算存储数据实验区项目1数据项目2数据项目n数据项目3数据经济运行社会治理二期大数据区实时数据区应用租户应用租户应用租户实时模型实时指标实时事件结 构 化 数 据城市大脑批量计算流计算挖掘计算计算AI能力（语音识别、人脸识别）深度学习（模型训练）离线采集实时采集数据采集数据源互联网爬虫政务数据（国家、市级、区）公共事业数据行业数据（金融、电信）互联网数据.物联网数据（气象、摄像 头）流媒体采集数据导入上报物联网网关采集准实时采集图数据库大数据资源平台功能框架事件服务数据中台服务数据共享交换服务分发消息查询下载数据分析和可视化服务数据可视化工具数据探索工具文件数据开放服务申请/计量合作开发创新研究共享层（标签、指标）标准层（主题模型）数据湖目录整体规划方案关键能力实现方案实施方案背景与需求分析162.构建数据中台核心能力，赋能多样化应用场景统一汇聚 推动数据共享协同实时感知 支持城市智慧运营价值提炼 支持宏观管理决策数据互补 政企数据互促互进 计算资源的读写分离：在 TDC、KunDB等数据库中 对处理和访问节点分离；库的读写分离：数据处理 库和数据访问库分离。读写分离保障数据访问性能各区物理隔离保障数据安全 三大区物理隔离，实现大 数据资源区、对外开放区、实验区物理隔离；大数据资源区的数据湖和 市级数据库物理隔离。湖内各委办局逻辑隔离 库内各主题层逻辑隔离数据分层，沉淀共性，形成数据中台能力，赋能典型场景202.1.数据层整体实现方案-数据架构 大数据资源平台支撑数据共享交换（生产职能）、数据分析、数据开放三大核心数据服务，包括大数据资源区、对外 开放区和实验区三大数据区。大数据资源区：包括市级数据湖和市级数据 库两大数据资源-数据湖：主要存放市级政府部门业务数据库、未经加工的原始业务数据库，支持存储结构 化、非结构化等多种类型的数据,以及用于点 对点共享交换数据-市级数据库：主要用于存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数 据资源，以及全市各部门、各区政务共享交 换过程中的数据。对外开放区：主要用于存放对外开放的数据，通过单独的对外开发区与大数据资源区隔离，可以提供更高级别的数据安全保护。实验区：主要用于存放非正式的用于技术创新和技术验证的实验数据。大数据资源区离线数据区实时数据区市级数据库对外开放区对外开放脱敏数据实验区实验 数据安全沙箱 数据市级数据湖基础库主题库专题库结构化数据非结构化数据指标库2.2.数据层整体实现方案-数据分层数 据 湖市 级 数 据 库ODSDWDDWA基础库人口库法人库空间地理库主题库经济活动公共事业社会关系人口密度贴源数据ST专 题库经济运行监测经济运行预测宏观景气指数市场主题发展人口和就业主体准入分析产业结构调整主体经营分析大众创业分析中小企业发展电子商务发展区域市场发展人口迁移老龄化及养老流动人口公共安全政务服务能力城市综合体城市立方体城市综合体-社区画像明细数据ODS层数据：该层数据为数据 湖落地的贴源数据，其数据结构 与政务应用等系统的原始数据结 构保持一致，是市级数据库的数 据来源。DWD层数据：该层数据为数据 湖贴源数据清洗后的明细数据。根据数据标准，对贴源数据进行清洗、转换，实现数据的标准化 和一致性。DWA层数据：在明细数据进行 上根据上层应用需要进行横向关 联和纵向汇总的共享模型数据。ST层数据：面向不同应用的应 用结果数据。大数据资源平台市级数据库面向不用数据应用、行业领域及主题划分为基础库、主题库、指标库和专题库，市级数据 库和数据湖从数据层次上划分为ODS、DWD、DWA和ST等四个主要层次。指 标 库电子证照库2.3.大数据资源区实现方案-市级数据湖 市级数据湖归集的数据范围、种类和存储方式等政务数据公共事业数据行业数据物联网数据数 据 范 围国家政务数据：国家下发的 各类政务数据；市级政务数据：市级各委办 局履职过程的提供的各类政 务数据，包括公安、税务等；区县政务数据：补充上报市 级没有的的各类政务数据。水电煤：采集城市自来水、电力、煤气、供热等公共事 业数据，此类数据是和百姓 生活息息相关的重要民生资 源。金融行业：整合金融行业个 人、企业征信数据；电信行业：整合电信运营商 个人、企业位置数据、互联 网内容数据等关键数据；其它行业：整合其它行业的 优质数据资源。摄像头传感器：采集城市部 署的摄像头等各类感知设备 提供的基础数据。数 据 特 性 和 数 据 库数据特性数据量大数据量小结构化数据InceptorKundb/ArgoDB非结构化数据InceptorHyperbase实时性高KafkaKunDB实时性低Inceptor/KunDBKunDB人 口 库学前阶段教育阶段工作阶段退休阶段出生死亡人口标签（出生信息、教育信息、就业信息、社保信息、纳税信息 ）簇群标签（家庭关系、交往圈、就业关系 ）2.4.大数据资源区实现方案-市级数据库-公共基础库构建全生命周期标签建立簇群关系 通过对政务数据、社会数据进行数据标准化、数据整合及价值挖掘，构建形成人口库、法人库、空间地理库、电子证 照库四大基础库的标签体系。政 务 数 据社 会 数 据上传个人电子证照上传企业电子证照就业，投资人工作地、活动地等信息注册地、办公地等信息电子证照库提供全市个人电子证照信息空间地理库法人库全面立体的展示法人相关 信息法人基本信息资本与资产生产经营许可、资质和荣誉提供地图服务、影像服务、地名地址服务、三维服务与坐标转换等功能服务。基础地理信息基础覆被信息自然资源环境与生态AI中台服务3.打造全方位的服务开放能力，使能城市智慧运营服务开放层数据中台服务数 据 服 务数据授权服务数据在线探索数据开放服务同步异步订阅消息智能推荐服务潜力商圈预测舆情洞察报表服务人口热地图经济指标报表共享服务目录医疗数据交通数据社保数据标签服务基本特征标签消费特征标签互联网偏好服务偏好标签指标服务人口指标
