HBase集成MapReduce

HBase集成MapReduce配置

HBase与MapReduce集成时是需要jar包的,加载步骤如下:
  • 可以通过bin/hbase maperduce命令查看。如图所示,为集成需要的jar包。
[beifeng@hadoop-senior hbase-0.98.6-hadoop2]$ bin/hbase mapredcp
  • 设置HBase、Hadoop环境变量
export HADOOP_HOME=/opt/cdh5.3.6/hadoop-2.5.0-cdh5.3.6
export HBASE_HOME=/opt/sofewares/hbase/hbase-0.98.6-hadoop2

HBase集成MapReduce入门

HBase默认集成的一些MapReduce程序,都在hbase-server-0.98.6-haddop2.jar这个包里面。
  • cellcounter:统计HBASE表中有多少个cells的个数
  • rowcounter:统计hbase中有多少条数据
  • 步骤如下:
    1、启动resourcemanager
    2、启动nodemanager
    3、启动historyserver
  • 运行rowcounter
HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`  $HADOOP_HOME/bin/yarn jar  $HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar rowcounter user

注意HADOOP_CLASSPATH 的值中包含反勾号`。反引号的作用就是将反引号内的Linux命令先执行,然后将执行结果赋予变量

结果:
《HBase集成MapReduce》 image.png

    原文作者:志辉聊码
    原文地址: https://www.jianshu.com/p/36943b7cf338
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞