电子文档交易市场
安卓APP | ios版本
电子文档交易市场
安卓APP | ios版本

数据采集解决方案汇编

16页
  • 卖家[上传人]:最****
  • 文档编号:117181908
  • 上传时间:2019-11-18
  • 文档格式:PPTX
  • 文档大小:3.89MB
  • / 16 举报 版权申诉 马上下载
  • 文本预览
  • 下载提示
  • 常见问题
    • 1、 航空公司数据驾驶舱 目录 1 2 3 4 航空业务背景 分析思路 数据质量提升解决方案 数据采集解决方案 随着产业互联网时代的到来,各行业开始认真思考大数据带来的商业价值。所有的企业都希 望能提高信息系统的数据分析能力、获取隐含在数据中的额外商业价值。大数据已经在为企业提 高运营质量、指导高层决策中发挥着重要贡献。 目前航空公司的信息系统不断发展,使运行数据大量堆集,由于设计和管理不规范导致数据 质量问题越来越突出。根据“garbage in,garbage out”的原理,错误的数据最终会误导决策 ,降低企业运营质量。因此数据质量的高低成为信息系统建设成败的关键因素,直接关系到信息 系统的有效应用。 亚信基于电信行业多年数据分析经验,指导航空公司在数据质量提升、数据采集等方向布局 ,提出基于数据稽核+清洗的常态化质量提升方案,以及通过亚马逊云计算和分布式爬虫的数据 采集方案,以此为智慧航运奠定基础。 大数据形势 业务背景 数据质量提升 数据采集 l l从常旅客数据入手,通过构建端到端的数据质量管理平台,构建从常旅客数据入手,通过构建端到端的数据质量管理平台,构建 了一套端到端的数据

      2、质量核查、预警、清洗和知识沉淀体系。了一套端到端的数据质量核查、预警、清洗和知识沉淀体系。 l l获取竞争对手的运价等航线信息,对运营决策、营销活动等有获取竞争对手的运价等航线信息,对运营决策、营销活动等有 比较重要的参照。比较重要的参照。 数据质量是信息变现的基石 据IDC公司一份质量报告所述,全球范围内的98.7%的BI系统受数据质量所困不能充分发挥其价值,在这 其中80%全球以上的系统正因数据质量问题二遭受投资者的质疑,如何对系统数据进行有效的质量管理 ,已成为IT界的一项世界性难题 信息是企业重要的战略资源,使用不正确的数据(即差的数据质量)可导致决策的失败,正可谓差 之毫厘,谬以千里。 数据质量问题分类 模型 重复 时效 管理 完整 数据结构不 规范 数据冗余 度大 过期数据 目标数据 缺失 录入错误 信息仓库 目录 1 2 3 4 业务背景 分析思路 数据质量提升解决方案 数据采集解决方案 数据质量的问题原因分解 模型 时效 管理 完整 信息仓库 重复 人员 业务流程培训 应用 系统缺陷修复 新数据 规范信息模型 存量数据 数据稽核清洗 解决思路 数据质量的提升是一项系统

      3、工程,任何一方面的缺失都 会导致数据质量的降低,因 此,数据质量提升应该综合 考虑数据处理、业务应用和 使用人员三大方面的因素 目录 3 2 1 4 数据质量提升解决方案 分析思路 业务背景 数据采集解决方案 稽核 作业 稽核 作业 稽核 作业 稽核 作业 数据清洗解决方案 CRM EDW 行业信息库 客服系统 电子商务 more 数据稽核数据清洗 统计报 告 人工审核 人机 界面 数据装载 离线FTP 稽查审核清洗审核 ETL抽取 待清洗目标 数据来源 其它数据源 规则配置流程配置 清洗 作业 清洗 作业 清洗 作业 清洗 作业 数据源管理 数据源管理 知识总结 实时消息 机器学习 目录 1 2 3 4 业务背景 分析思路 数据质量提升解决方案 数据采集解决方案 数据采集解决方案 走势预测机票报表价格监控 业务层 应用展现 舆情分析 消息总线 More REST+WEBSERVICE MR+Hive+Storm OTA 航空公司 国外网站 分布式爬虫分布式爬虫分布式爬虫 大数据中心 亚太节点 内部数据库 欧洲节点北美节点 RDBMS 采集调度 处理层 采集站点 采集层 大数据之上,丰富的应用场景 桌面插件桌面插件 手机客户端手机客户端 短短/ /彩彩信、信、邮件邮件主动推送主动推送 企业大屏信息企业大屏信息 WEBWEB站点站点 AWS部署方案 动态Web服务 EC2、Auto Scaling RPC服务 EC2、Auto Scaling MySQL数据库 RDS 负载均衡服务 ELB DNS服务 Route 53 爬虫服务 弹性存储 S3 弹性存储 S3 Region 3(亚太)Region 2(欧洲)Region 1(北美) 爬虫服务爬虫服务 爬虫服务爬虫服务 AWS内网传输 Hadoop集群 EMR AWS上设多个Regions, 欧洲、北美 作为采集节点,亚太Region作为采集 和运算节点,并提供动态Web服务访 问。 Thank you

      《数据采集解决方案汇编》由会员最****分享,可在线阅读,更多相关《数据采集解决方案汇编》请在金锄头文库上搜索。

      点击阅读更多内容
    最新标签
    发车时刻表 长途客运 入党志愿书填写模板精品 庆祝建党101周年多体裁诗歌朗诵素材汇编10篇唯一微庆祝 智能家居系统本科论文 心得感悟 雁楠中学 20230513224122 2022 公安主题党日 部编版四年级第三单元综合性学习课件 机关事务中心2022年全面依法治区工作总结及来年工作安排 入党积极分子自我推荐 世界水日ppt 关于构建更高水平的全民健身公共服务体系的意见 空气单元分析 哈里德课件 2022年乡村振兴驻村工作计划 空气教材分析 五年级下册科学教材分析 退役军人事务局季度工作总结 集装箱房合同 2021年财务报表 2022年继续教育公需课 2022年公需课 2022年日历每月一张 名词性从句在写作中的应用 局域网技术与局域网组建 施工网格 薪资体系 运维实施方案 硫酸安全技术 柔韧训练 既有居住建筑节能改造技术规程 建筑工地疫情防控 大型工程技术风险 磷酸二氢钾 2022年小学三年级语文下册教学总结例文 少儿美术-小花 2022年环保倡议书模板六篇 2022年监理辞职报告精选 2022年畅想未来记叙文精品 企业信息化建设与管理课程实验指导书范本 草房子读后感-第1篇 小数乘整数教学PPT课件人教版五年级数学上册 2022年教师个人工作计划范本-工作计划 国学小名士经典诵读电视大赛观后感诵读经典传承美德 医疗质量管理制度 2 2022年小学体育教师学期工作总结 2022年家长会心得体会集合15篇
    关于金锄头网 - 版权申诉 - 免责声明 - 诚邀英才 - 联系我们
    手机版 | 川公网安备 51140202000112号 | 经营许可证(蜀ICP备13022795号)
    ©2008-2016 by Sichuan Goldhoe Inc. All Rights Reserved.