![](https://www.jinchutou.com/images/s.gif)
Spark读写Hbase的二种方式对比_光环大数据培训
3页1、 光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/SparkSpark 读写读写 HbaseHbase 的二种方式对比的二种方式对比_ _光环大数据培训光环大数据培训光环大数据培训光环大数据培训,一.传统方式这种方式就是常用的 TableInputFormat 和 TableOutputFormat 来读写 hbase,如下代码所示简单解释下,用 sc.newAPIhadoopRDD 根据 conf 中配置好的 scan 来从 Hbase 的数据列族中读取包含(ImmutableBytesWritable, Result)的 RDD,随后取出 rowkey 和 value 的键值对儿利用 StatCounter 进行一些最大最小 值的计算最终写入 hbase 的统计列族.二.SparkOnHbase 方式重点介绍第二种方式,这种方式其实是利用 Cloudera-labs 开源的一个 HbaseContext 的工具类来支持 spark 用 RDD 的方式批量读写 hbase,先给个传送 门大家感受下https:/ 0.0.2/s
2、rc/main/scala/com/cloudera/spark/hbase/HBaseContext.scalahttps:/issues.apache.org/jira/browse/HBASE-13992https:/issues.apache.org/jira/browse/HBASE-14160虽然这个 hbase-spark 的 module 在 Hbase 上的集成任务很早就完成了,但 是已知发布的任何版本我还没找到该模块,不知道什么情况,再等等吧那么问题来了,这种方式的优势在哪儿呢,官方的解释我翻译如下1无缝的使用 Hbase connection2和 Kerberos 无缝集成3通过 get 或者 scan 直接生成 rdd4利用 RDD 支持 hbase 的任何组合操作5为通用操作提供简单的方法,同时通过 API 允许不受限制的未知高级操 作光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/6支持 java 和 scala7为 spark 和 spark streaming 提供相似的 APIok,由于 hba
3、seContext 是一个只依赖 hadoop,hbase,spark 的 jar 包的工 具类,因此可以拿过来直接用废话不说,直接用我调试过的代码来感受下想用 HbaseContext 很简单,如上面代码所示,需要说明的是 hbaseContext 的 hbaseScanRDD 方法,这个方法返回的是一个(RowKey, List(columnFamily, columnQualifier, Value)类型的 RDD, 如下刚开始用的挺不习惯的.还得循环取出来 rowkey 对应的这么多列,这里你如 果对它的 RDD 返回类型不爽,官方很贴心的提供了另外一个方法怎么样,是不是看着很眼熟了?你可以自定义第三个参数 (ImmutableBytesWritable, Result),对函数 f 进行自定义来返回你自己喜欢 的 RDD 格式,程序运行结果如下,过滤出了 9:20 到 9:58 所有的 rowkey 以及对应的列当然 HbaseContext 还有其他 bulkGet,bulkPut,bulkDelete 等,都是可以 直接将 hbase 的操作转换成 RDD,只要转成 RDD 了,那么 rdd 的这么多 transform 和 action 就可以玩的很 happy 了.为什么大家选择为什么大家选择光环大数据光环大数据!大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训,就选光环大数据!光环大数据,聘请专业的大数据领域知名讲师,确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术,将前沿技能融入教学中,确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式,指导学生更快的掌握技能知识,成就上万个高薪就业学子。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名:光环大数据官方网站报名:http:/ /mobile/mobile/
《Spark读写Hbase的二种方式对比_光环大数据培训》由会员gua****an分享,可在线阅读,更多相关《Spark读写Hbase的二种方式对比_光环大数据培训》请在金锄头文库上搜索。
![做运营60%靠思维,40%靠经验,你的思维跟得上吗_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/0b7235e3-34a5-49a4-8a3e-a8da76563c39/pic1.jpg)
做运营60%靠思维,40%靠经验,你的思维跟得上吗_光环大数据培训
![长沙BI大数据培训_BI大数据工程师需要具备哪些高薪技能_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/0ff17e71-53b4-4561-9577-a2281549c5ea/pic1.jpg)
长沙BI大数据培训_BI大数据工程师需要具备哪些高薪技能_光环大数据培训
![智慧交通大数据平台搭建过程及应用案例_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/a57e9ee3-69a5-4f4c-8ec8-8532ae4528d9/pic1.jpg)
智慧交通大数据平台搭建过程及应用案例_光环大数据培训
![在DevOps中以API看待共享数据库_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/031e9e7f-cb86-4c72-b76c-7efccb10f748/pic1.jpg)
在DevOps中以API看待共享数据库_光环大数据培训
![怎样才能成为一个高级Java工程师 —光环java培训机构](https://union.01img.goldhoe.com/2018-8/21/b95f9010-031b-41b4-b9c3-90d660dd0694/pic1.jpg)
怎样才能成为一个高级Java工程师 —光环java培训机构
![这可能是一篇数据化运营的大纲_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/d896cba5-ef23-41f9-b254-eea316e9b42c/pic1.jpg)
这可能是一篇数据化运营的大纲_光环大数据培训
![自学大数据能找到工作吗_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/631a5802-aae5-4be9-89fc-379995fffa1d/pic1.jpg)
自学大数据能找到工作吗_光环大数据培训
![长沙大数据公司有哪些 参加大数据培训有钱途吗_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/ddf4eaa9-953e-42bb-90b6-1ee0a1d9df9d/pic1.jpg)
长沙大数据公司有哪些 参加大数据培训有钱途吗_光环大数据培训
![中国大数据成熟盈利模型尚未建立_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/981852e0-f8b9-44c6-8c42-9792bf580d2f/pic1.jpg)
中国大数据成熟盈利模型尚未建立_光环大数据培训
![针对 MySQL 大规模数据库的性能和伸缩性的优化_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/3513ddf8-8552-4908-8134-eead7b09fcf2/pic1.jpg)
针对 MySQL 大规模数据库的性能和伸缩性的优化_光环大数据培训
![怎样做数据分析_数据分析方法大全](https://union.01img.goldhoe.com/2018-8/21/ba482dc7-af84-4190-9fb1-778eecc03fca/pic1.jpg)
怎样做数据分析_数据分析方法大全
![怎么学习数据分析_数据分析软件汇总](https://union.01img.goldhoe.com/2018-8/21/dab36795-39e7-4cbd-8e6a-ef594b7ed227/pic1.jpg)
怎么学习数据分析_数据分析软件汇总
![怎样成为数据分析师_光环数据分析师培训](https://union.01img.goldhoe.com/2018-8/21/b879a609-47ae-457b-8be4-00c3d8a93d46/pic1.jpg)
怎样成为数据分析师_光环数据分析师培训
![在大数据迅猛发展的今天隐私保护成了难题_光环大数据推出AI智客计划送2000助学金](https://union.01img.goldhoe.com/2018-8/21/ca6b376e-6fc0-4596-aa68-e734f08fd07a/pic1.jpg)
在大数据迅猛发展的今天隐私保护成了难题_光环大数据推出AI智客计划送2000助学金
![长沙cpda数据分析培训_cpda考试流程](https://union.01img.goldhoe.com/2018-8/21/cc3fbb63-9c08-4409-bdbc-bcb073fd3c4c/pic1.jpg)
长沙cpda数据分析培训_cpda考试流程
![运营之道,千变万化,存乎一心_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/9865ff58-54d0-4e30-93ef-2f00095e2b0d/pic1.jpg)
运营之道,千变万化,存乎一心_光环大数据培训
![在Hadoop上运行Docker容器的六大陷阱_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/753ac6ec-0a2b-419f-ac7c-85fd3cd223c4/pic1.jpg)
在Hadoop上运行Docker容器的六大陷阱_光环大数据培训
![云计算平台点兵 谁在用AWS 谁在用Azure_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/1614a99a-fdb9-41a7-b390-63aa3d827fe6/pic1.jpg)
云计算平台点兵 谁在用AWS 谁在用Azure_光环大数据培训
![自学java编程语言和参加java培训哪个更有前途—光环java培训机构](https://union.01img.goldhoe.com/2018-8/21/53bfd464-3df9-4dfd-90ef-d747aaae5283/pic1.jpg)
自学java编程语言和参加java培训哪个更有前途—光环java培训机构
![最用心的运营数据指标解读_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/83549da4-aeba-48a9-a6fb-b8368e219e06/pic1.jpg)
最用心的运营数据指标解读_光环大数据培训
![南开大学《计算机组成原理》笔记-随堂笔记](/Images/s.gif)
2023-09-25 37页
![北京林业大学《计算机组成原理》笔记-总结期末复习资料](/Images/s.gif)
2023-09-25 10页
![《计算机网络》笔记-各章汇总](/Images/s.gif)
2023-09-25 33页
![《数据结构》笔记-期末复习知识点](/Images/s.gif)
2023-09-25 26页
![盘点那些高逼格的sql写法](/Images/s.gif)
2023-04-03 8页
![全程干货:新手小白快速入门sql教程SQL基本书写规则](/Images/s.gif)
2023-04-03 4页
![经典常用SQL 基础知识数据库与 SQL](/Images/s.gif)
2023-04-03 8页
![2022年CSP-S第二轮C++真题源码解析1](/Images/s.gif)
2023-03-29 10页
![2022年CSP-J第二轮C++真题源码解析2](/Images/s.gif)
2023-03-22 10页
![2022年CSP-J第二轮C++真题源码解析1](/Images/s.gif)
2023-03-20 8页