最全的大数据解决方案

1 © Cloudera, Inc. All rights reserved. Cloudera Enterprise Introduction - From Hadoop to Enterprise Data Hub Presenters Name | Position 2 © Cloudera, Inc. All rights reserved. 提纲 数据正在驱动行业的发展 以Hadoop为核心的大数据平台 企业数据平台（Enterprise Data Hub） Cloudera Enterprise CDH Cloudera Security Cloudera Manager Cloudera Director Cloudera Support 总结 3 © Cloudera, Inc. All rights reserved. 物联网及智能终端数据 用户交互行为数据 企业运营数据 无所不在的数据 数据正成为企业的核心资产，数据可以帮助企业实现商业价值。 4 © Cloudera, Inc. All rights reserved. 数据价值挖掘 体量大 速度快 多样性 价值密度低 日志 社交数据 用户行为 机器数据 图片 音频 视频 传感器 运营数据 Value 更好地理解并服务客 户 精细化运营管理 个性化医疗健康服务 公共事业服务 安全和合规性检查 用户标签 行为分析 文本分析 情感分析 图片分析 音频分析 轨迹分析 5 © Cloudera, Inc. All rights reserved. Data Sources Data Systems Data Access Business Analytics Custom Applications Existing Data Databases/ Warehouse Operational Applications New Data Limited Data Not efficient to keep existing data, let alone handle new data sources. Time consuming to transform data for analysis in existing systems. Limited Insights Power users struggle with data. Many users have no data. Compliance and Privacy More data, more users, and more tools create complexity. Need to balance business agility with security and governance. 传统架构的劣势 6 © Cloudera, Inc. All rights reserved. Data Sources Data Systems Data Access Business Analytics Custom Applications Existing Data Databases Operational Applications New Data Keep Unlimited Data From disparate and limited views, to unlimited information access. Unlock Value from Data From analytics for some, to insights for all. Manage Compliance From risk due to regulations and customer privacy concerns, to trust in a secure and compliant platform. Enterprise Data Hub Security and Administration Unlimited Storage Process Discover Model Serve 亟需新的数据平台架构 7 © Cloudera, Inc. All rights reserved. Cloudera 创立 成立于2008，企业级Hadoop产品提供商 员工数量 超过900名 全球支持 24x7 全球支持 创新的主动支持和预测支持项目 客户群 全行业客户(金融、电信、零售、能源、互联网、媒体等） 各行业的顶尖企业都有Cloudera Enterprise部署 强大的产业链 数百个生态链合作伙伴; Cloudera Connect Program (CCP) 培训和认证 超过80,000管理员、开发者等受训；最有价值的大数据证书 开源领导者 Hadoop及其相关生态项目的绝对领导者，和Intel合作加速 企业数据中心的革新 Cloudera中国 2014年9月成立，上海是大中华区总部，负责产品培训、 专业技术服务和产品支持，在北京和广州有本地支持 8 © Cloudera, Inc. All rights reserved. Cloudera和Hadoop生态 Cloudera是Hadoop项目的最大贡献者，同时也是No.1的Hadoop发行版提供商 Hadoop平台标准化的领导者 数据采集 Flume, Sqoop 数据存储 HDFS, HBase, Avro, Parquet 数据处理 MapReduce, Spark, Hive 数据分析 Impala, Solr JIRA Contributions, Source: ApacheJIRA January 2012 February 2015 52% Hortonworks IBM MapR Microsoft Pivotal Databricks Projects Included: Accumulo Avro Bigtop Crunch Flume Hadoop Core HBase Hive Kafka Mahout Oozie Pig Solr Spark Sqoop Tez ZooKeeper 9 © Cloudera, Inc. All rights reserved. Cloudera产品和服务 Cloudera Enterprise Cloudera提供了100%开源的，开放标准的Apache Hadoop发行版（CDH） 让Hadoop真正进入企业级应用的Cloudera Manager和Cloudera Navigator 提供虚拟化和云化大数据方案的Cloudera Director 业内最权威的Hadoop技能培训和认证 深耕于开源社区的专业技术支持团队和产品支持团队 Cloudera Enterprise 按年订阅按年订阅 Hadoop 认证 培训 专业技术 咨询与服务 产品支持 10 © Cloudera, Inc. All rights reserved. Cloudera Enterprise System and Data Management Process Ingest Sqoop, Flume, Kafka Transform MapReduce, Hive, Pig, Spark Discover Analytic Database Impala Search Solr Model Machine Learning R, Spark Mllib, Mahout Serve NoSQL Database HBase Streaming Spark Streaming Unlimited Storage HDFS, HBase YARN, Cloudera Manager Cloudera Navigator Deployment Flexibility On-Premises Appliances Engineered Systems Public Cloud Private Cloud Hybrid Cloud 完善的企业安全策略完善的企业安全策略 身份认证，授权，审计，数据安全 数据可管理性 开放标准开放标准 100%开源Hadoop及其相关 组件 3rd标准的软件集成 开放API 标准云服务集成 统一平台统一平台 数据导入导出 可扩展存储 多样化的处理引擎 安全 资源管理 元数据管理 11 © Cloudera, Inc. All rights reserved. 企业级数据平台 稳定性 严格的测试 被客户和开发者证明 开源的模式 易用性 标准的API（Java, SQL, Python, Rest） 标准的工具集成（MS, Qlikview, Tableau, Teradata, Netezza, Quest） 一站式管理解决方案 安全性 企业安全标准集成 统一的访问安全控制 全面的数据保护，密钥管理 可管理性 部署、管理、监控、警告 可治理性 数据溯源 数据发现 数据生命周期管理 灵活性 不同的问题可以有不同的技术选择 性能 高吞吐的NoSQL存储 原生的大规模数据处理引擎 内存计算 为X86平台做的原生优化 12 © Cloudera, Inc. All rights reserved. The Open Source Platform - CDH 13 © Cloudera, Inc. All rights reserved. 最具创新的开源核心 CDH Cloudera Distribution for Apache Hadoop 100%开源且开放标 准的Hadoop核心 数据采集 多样化的可扩展存储 资源（负载）管理框架 灵活多样的处理引擎 全面的安全技术体系 易用的Hadoop交互界面 Workload Management Process Ingest Sqoop, Flume， Kafka Transform MapReduce, Hive, Pig, Spark Discover Analytic Database Impala Search Solr Model Machine Learning R, Spark Mlib, Mahout Serve NoSQL Database HBase Streaming Spark Streaming Unlimited Storage HDFS, HBase YARN Sentry 14 © Cloudera, Inc. All rights reserved. CDH CDH 全球最流行的Hadoop发行版 最完整且稳定的版本，经过严格的行业检验 具有最快的更新，更多新的功能 方便开发者和集成商使用Hadoop 和其他一些Hadoop发行版提供商对比 Cloudera做Hadoop开发的，其他厂商仅是做Hadoop集成或CDH集成 和Hadoop trunk最快的同步，能保证业务的前向兼容性；其他厂商在 Hadoop上做的定制优化或修复，无法保证兼容性 所有组件的开发和专业支持能力，其他厂商也仅仅跟随Cloudera包含的版 本进行集成，缺乏问题修复和专业支持能力 15 © Cloudera, Inc. All rights r