您所在位置：网站首页 > IT计算机/网络 > 数据结构与算法Spark培训大数据分析框架的核心部件_光环大数据培训

Spark培训大数据分析框架的核心部件_光环大数据培训

3页

卖家[上传人]：gua****an

文档编号：49833616

上传时间：2018-08-03

文档格式：DOCX

文档大小：38.99KB

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

0 金贝

/ 3 举报版权申诉马上下载

文本预览

下载提示

常见问题

1、光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/SparkSpark 培训培训大数据分析框架的核心部件大数据分析框架的核心部件_ _光环大数据培训光环大数据培训Spark 大数据分析框架的核心部件包含 RDD 内存数据结构、Streaming 流计算框架、GraphX 图计算与网状数据挖掘、MLlib 机器学习支持框架、Spark SQL 数据检索语言、Tachyon 文件系统、SparkR 计算引擎等主要部件。这里做一个简单的介绍。一、RDD 内存数据结构大数据分析系统一般包括数据获取、数据清洗、数据处理、数据分析、报表输出等子系统。Spark 为了方便数据处理、提升性能，专门引入了 RDD 数据内存结构，这一点与 R 的机制非常类似。用户程序只需要访问 RDD 的结构，与存储系统的数据调度、交换都由提供者驱动去实现。RDD 可以与 Haoop 的 HBase、HDFS 等交互，用作数据存储系统，当然也可以通过扩展支持很多其它的数据存储系统。因为有了 RDD，应用模型就与物理存储分离开来，而且能够更容易地处理

2、大量数据记录遍历搜索的情况，这一点非常重要。因为 hadoop 的结构主要适用于顺序处理，要翻回去反复检索数据的话效率就非常低下，而且缺乏一个统一的实现框架，由算法开发者自己去想办法实现。毫无疑问，这具有相当大的难度。 RDD 的出现，使这一问题得到了一定程度的解决。但正因为 RDD 是核心部件、实现难度大，这一块的性能、容量、稳定性直接决定着其它算法的实现程度。从目前看，还是经常会出现 RDD 占用的内存过载出问题的情况。二、Streaming 流计算框架流是现在推特、微博、微信、图片服务以及物联网、位置服务等等的重要数据形态，因此流计算正显得前所未有的重要。流计算框架是所有互联网服务商的核心基础架构，Amazon、Microsoft 都已经推出了 Event 消息总线云服务平台，而 facebook/twitter 等更是将自己的流计算框架开源。Spark Streaming 专门设计用于处理流式数据。通过 Spark Streaming，可以快速地将数据推入处理环节，犹如流水线一样进行快速的加工，并在最短的时间反馈给使用。三、GraphX 图计算与网状数据挖掘

3、物理网络的拓扑结构，社交网络的连接关系，传统数据库的 E-R 关系，都是典型的图(Graph)数据模型。Hadoop 主要适用于“数据量”很大的场合，对于关系的处理几乎没有支持，Hbase 也是非常弱的关系处理能力。图数据结构光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/往往需要快速多次对数据进行扫描式遍历，RDD 的引入使 Spark 可以更高效地处理基于图的数据结构，从而使存储和处理大规模的图网络成为可能。类似的专用于图的系统还有 neo4j 等。GraphX 相对于传统数据库的关系连接，可以处理更大规模、更深度的拓扑关系，可以在多个集群节点上进行运算，确实是现代数据关系研究的利器。四、MLlib 机器学习支持框架通过把机器学习的算法移植到 Spark 架构上，一方面可以利用底层的大规模存储和 RDD 的数据快速访问能力，还可以利用图数据结构和集群计算的处理能力，使机器学习的运算可以在大规模的集群系统上展开，即大力拓展了机器学习算法的应用能力。五、Spark SQL 数据检索语言这个跟基于 Hive 的实现

4、有些类似，但是基于 RDD 理论上能提供更好的性能，同时能更方便处理如 join 和关系检索等操作。这个被设计为与用户交互的一个标准化入口。六、Tachyon 文件系统Tachyon 是一个类似于 HDFS 的实现，不过感觉上更加接近于使用者，而 HDFS 主要是面向存储块的。七、SparkR 计算引擎将 R 语言的能力应用到 Spark 基础计算架构上，为其提供算法引擎。为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/ /mobile/mobile/

《Spark培训大数据分析框架的核心部件_光环大数据培训》由会员gua****an分享，可在线阅读，更多相关《Spark培训大数据分析框架的核心部件_光环大数据培训》请在金锄头文库上搜索。

点击阅读更多内容

TA的资源