cloudera大数据平台简介-sendout

1 Cloudera大数据平台简介 从最先进的Hadoop平台到企业级数据中心 2 公司发展历史 Cloudera Confi den0al -­ Internal Use Only 2 3 Cloudera中国 ©2014 Cloudera, Inc. All rights reserved. 3 英特尔7.4亿美元投资到Cloudera 英特尔与Cloudera通过开源驱动创新 英特尔使得Hadoop在IA架构上运行达到最优性能 Cloudera与英特尔协作建立广泛的合作伙伴生态系 统 Cloudera在中国建立销售及技术服务团队，英特尔 大数据团队2014年9月正式加入 4 从Hadoop到企业级数据中心EDH ©2014 Cloudera, Inc. All rights reserved. 4 开源开源 可扩展性可扩展性 灵活灵活 性价比性价比 易于管理易于管理 开放式架构开放式架构 安全与管治安全与管治 第三方应用 程序 任何数据类型的存储平台 UNIFIED, ELASTIC, RESILIENT, SECURE CLOUDERA企业级数据中心企业级数据中心EDH 批处理 MAPREDUCE 分析SQ IMPALA 搜索引擎 SOLR 机器学习 SPARK 流处理 SPARK STREAMING WORKLOAD MANAGEMENT YARN 文件系统 HDFS ONLINE NOSQL HBASE 数据管理 CLOUDERA NAVIGATOR 系统管理 CLOUDERA MANAGER SENTRY , SECURE 5 Cloudera 5 综述 ©2014 Cloudera, Inc. All rights reserved. 5 Cloudera企业级数据中心蓝图 更多样的工作负载（不仅仅是批处理） 工作负载管理 分析SQL (Impala) 搜索 Spark 第三方应用 灵活的部署方式 安全 管治 管理 6 Cloudera 5 不仅仅是批量处理 ©2014 Cloudera, Inc. All rights reserved. 6 工作负载管理工作负载管理 Hadoop 2 YARN 多样化的分析平台多样化的分析平台 分析分析SQL Cloudera Impala 搜索引擎搜索引擎 Cloudera Search (Solr) 机器学习机器学习&流处理流处理 Apache Spark 第三方应用程序第三方应用程序 Cloudera Manager Extensions 第三方应用 程序 任何数据类型的存储平台 UNIFIED, ELASTIC, RESILIENT, SECURE CLOUDERA企业级数据中心企业级数据中心 批处理 MAPREDUCE 分析SQL IMPALA 搜索引擎 SOLR 机器学习 SPARK 流处理 SPARK STREAMING 工作负载管理 YARN 文件系统 HDFS 非关系型数据库(ONLINE NOSQL) HBASE 数据管理 CLOUDERA NAVIGATOR 系统管理 CLOUDERA MANAGER SENTRY , SECURE 7 工作负载管理 Hadoop 2 YARN ©2014 Cloudera, Inc. All rights reserved. 7 功能功能 支持多个工作引擎 更优的可扩展性 工作负载管理 资源共享 细粒度调度 负载隔离 优势优势 混合的使用平台 实现工作负载的SLA 基于组的策略制定 8 分析型SQL Cloudera Impala ©2014 Cloudera, Inc. All rights reserved. 8 Impala的新特性的新特性 用户自定义方法与预定义分析方法 基于成本的join顺序优化 与YARN的整合 基于磁盘的Join 窗口分析函数 Hadoop上的自助式上的自助式BI 先进的MPP SQL执行引擎 10x快于最新的Hive 在Hadoop生态系统中运行 ANSI SQL兼容性 可使用现成的BI工具 安全与管治 便捷的管理 开源 (Apache-­licensed) 应用场景应用场景 数据仓库迁移 交互式的商务智能与数据分析 无丢失的在线存档 9 搜索 Cloudera Search (Apache Solr) ©2014 Cloudera, Inc. All rights reserved. 9 易用易用 交互式的全文检索与切面导航 实时的数据检索 多用户友好 灵性灵性 批处理, 实时或者按需索引 多类型、多格式支持 原生与Hadoop执行引擎相结合 丰富的API与完善的生态系统 100% 开源开源 业界标准的搜索引擎 成熟的代码基础, 活跃的社区 探索 导航 关联 CDH是唯一一个提供企业级搜索解 决方案的商用Hadoop版本 10 机器学习与流处理 Apache Spark ©2014 Cloudera, Inc. All rights reserved. 10 开源的数据并行处理框架 快速快速. 充分利用内存，比MapReduce的数据处理快100倍，有效支持迭代式 机器学习与分析 开发友好开发友好. 提供Java, Scala, Python等多语言丰富的API 完整完整. 集成于CDH, 可通过Cloudera管理器管理；通过与Databricks公司的协 作共同对Spark开发完善 便捷的实时流处理 简单简单. API有利于快速部署流处理应用程序 容错容错. 实现“Exactly-­once”语意 统一统一. 基于Spark平台共享数据与模型 Cloudera是唯一一家 使用Spark并提供支持的 商用Hadoop服务供应商 11 一站式的大数据集群管理 Cloudera管理器 ©2014 Cloudera, Inc. All rights reserved. 11 工作负载管理 资源分组 & 工作队列管理 资源的静态/动态分区 资源使用监控 & 趋势预估 平台覆盖 CDH 5对兼容性的支持 CDH 5提供安装/升级的配置向导 可扩展性以及合作伙伴产 品整合 例如SAS, Revolu0on, SyncSort, Informa0ca, Accumulo支持 Spark支持 优化的监控 YARN/MR2服务, 用户自定义触发 器, 高级Impala监控 第三方应用 程序 任何数据类型的存储平台 UNIFIED, ELASTIC, RESILIENT, SECURE CLOUDERA企业级数据中心企业级数据中心 批处理 MAPREDUCE 分析SQL IMPALA 搜索引擎 SOLR 机器学习 SPARK 流处理 SPARK STREAMING 工作负载管理 YARN 文件系统 HDFS 非关系型数据库(ONLINE NOSQL) HBASE 数据管理 CLOUDERA NAVIGATOR 系统管理 CLOUDERA MANAGER SENTRY , SECURE 12 Hadoop上的细粒度授权 Apache Sentry ©2014 Cloudera, Inc. All rights reserved. 12 Impala & Hive上的开源授 权模型 基于角色的访问控制 (RBAC) 与传统数据库相同的安全 安全的, 细粒度的, 并且基于角色 的授权 多用户管理 在Hadoop上保存敏感数据 符合监管要求 第三方应用 程序 任何数据类型的存储平台 UNIFIED, ELASTIC, RESILIENT, SECURE CLOUDERA企业级数据中心企业级数据中心 批处理 MAPREDUCE 分析SQL IMPALA 搜索引擎 SOLR 机器学习 SPARK 流处理 SPARK STREAMING 工作负载管理 YARN 文件系统 HDFS 非关系型数据库(ONLINE NOSQL) HBASE 数据管理 CLOUDERA NAVIGATOR 系统管理 CLOUDERA MANAGER SENTRY , SECURE 13 企业级数据管治 Cloudera导航器 ©2014 Cloudera, Inc. All rights reserved. 13 审计审计&访问控制访问控制 维护全量审计历史 确保数据权限以及数据访 问合规 发现发现 & 探索探索 查找数据的可用性和数据 格式/内容 数据沿袭数据沿袭 数据跟踪, 查找数据来源 生命周期管理生命周期管理 根据预定策略迁移数据 第三方应用 程序 任何数据类型的存储平台 UNIFIED, ELASTIC, RESILIENT, SECURE CLOUDERA企业级数据中心企业级数据中心 批处理 MAPREDUCE 分析SQL IMPALA 搜索引擎 SOLR 机器学习 SPARK 流处理 SPARK STREAMING 工作负载管理 YARN 文件系统 HDFS 非关系型数据库(ONLINE NOSQL) HBASE 数据管理 CLOUDERA NAVIGATOR 系统管理 CLOUDERA MANAGER SENTRY , SECURE Cloudera导航器: Apache Hadoop上一站式 数据管治解决方案 14 ©2014 Cloudera, Inc. All rights reserved. 15 ©2014 Cloudera, Inc. All rights reserved. Full text search across HDFS See fi le schema Column Level lineage Table Level lineage Table metadata with technical descrip0on Tags for easy search and sharing Custom key/values Table metadata with business descrip0on Download lineage Who created it, when, where 16 Cloudera: 让EDH飞上云霄 Portability: MulJple Deployment OpJons Flexibility: Pricing and Support Choice: Growing Ecosystem Private Cloud Physical Public Cloud Tradi0onal licensing with Cloudera support Usage-­based pricing with Cloudera + cloud vendor support Rapidly expanding cloud provider and MSP ecosystem for choice in cloud-­based services * * * Scheduled for Roadmap 17 Why Cloudera? 18 最成熟可靠的大数据平台 Financial & Business Services Telecom Technology Healthcare Life Sciences Media Retail Consumer Energy Public Sector 19 最简单易用的大数据平台 Cloudera Manager 重要企业级特性 ©2014 Cloudera, Inc. All rights reserved. “We always