Spark读写Hbase的二种方式对比_光环大数据培训

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnSparkSpark 读写读写 HbaseHbase 的二种方式对比的二种方式对比_ _光环大数据培训光环大数据培训光环大数据培训光环大数据培训，一.传统方式这种方式就是常用的 TableInputFormat 和 TableOutputFormat 来读写 hbase，如下代码所示简单解释下，用 sc.newAPIhadoopRDD 根据 conf 中配置好的 scan 来从 Hbase 的数据列族中读取包含(ImmutableBytesWritable, Result)的 RDD,随后取出 rowkey 和 value 的键值对儿利用 StatCounter 进行一些最大最小 值的计算最终写入 hbase 的统计列族.二.SparkOnHbase 方式重点介绍第二种方式,这种方式其实是利用 Cloudera-labs 开源的一个 HbaseContext 的工具类来支持 spark 用 RDD 的方式批量读写 hbase,先给个传送 门大家感受下https:/github.com/cloudera-labs/SparkOnHBase/blob/cdh5- 0.0.2/src/main/scala/com/cloudera/spark/hbase/HBaseContext.scalahttps:/issues.apache.org/jira/browse/HBASE-13992https:/issues.apache.org/jira/browse/HBASE-14160虽然这个 hbase-spark 的 module 在 Hbase 上的集成任务很早就完成了，但 是已知发布的任何版本我还没找到该模块，不知道什么情况,再等等吧那么问题来了，这种方式的优势在哪儿呢，官方的解释我翻译如下1无缝的使用 Hbase connection2和 Kerberos 无缝集成3通过 get 或者 scan 直接生成 rdd4利用 RDD 支持 hbase 的任何组合操作5为通用操作提供简单的方法，同时通过 API 允许不受限制的未知高级操 作光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn6支持 java 和 scala7为 spark 和 spark streaming 提供相似的 APIok，由于 hbaseContext 是一个只依赖 hadoop,hbase,spark 的 jar 包的工 具类，因此可以拿过来直接用废话不说，直接用我调试过的代码来感受下想用 HbaseContext 很简单，如上面代码所示,需要说明的是 hbaseContext 的 hbaseScanRDD 方法，这个方法返回的是一个(RowKey, List(columnFamily, columnQualifier, Value)类型的 RDD, 如下刚开始用的挺不习惯的.还得循环取出来 rowkey 对应的这么多列,这里你如 果对它的 RDD 返回类型不爽，官方很贴心的提供了另外一个方法怎么样，是不是看着很眼熟了?你可以自定义第三个参数 (ImmutableBytesWritable, Result)，对函数 f 进行自定义来返回你自己喜欢 的 RDD 格式，程序运行结果如下，过滤出了 9:20 到 9:58 所有的 rowkey 以及对应的列当然 HbaseContext 还有其他 bulkGet，bulkPut,bulkDelete 等，都是可以 直接将 hbase 的操作转换成 RDD,只要转成 RDD 了，那么 rdd 的这么多 transform 和 action 就可以玩的很 happy 了.为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/hadoop.aura.cn/http:/hadoop.aura.cn/手机报名链接：手机报名链接：http:/http:/ hadoop.aura.cnhadoop.aura.cn /mobile/mobile/