HBase集群间数据迁移

0. 前置

Cluster-A集群数据迁移到Cluster-B

1. Export/Import

将Cluster-A中HBase表export到Cluster-B的HDFS中，然后在Cluster-B中使用import导入HBase

a) Cluster-A和Cluster-B网络通

• Cluster-B中建好相关迁移的表

hbase(main):001:0>create 'TestTable', 'info'

• Cluster-A中执行Export命令

sudo su hdfs
hbase org.apache.hadoop.hbase.mapreduce.Driver export TestTable hdfs://B:9000/hbase_tmp

• Cluster-B中执行Import命令

sudo su hdfs
hbase org.apache.hadoop.hbase.mapreduce.Driver import TestTable hdfs://B:9000/hbase_tmp

• 清理Cluster-B的HDFS中临时文件夹/hbase_tmp

hadoop fs -rmr /hbase_tmp

b) Cluster-A和Cluster-B网络不通

网络不通的情况下，可以将数据Export到OSS中，然后从OSS中Import

• Cluster-B中建好相关迁移的表

hbase(main):001:0>create 'TestTable', 'info'

• Cluster-A中执行Export命令导出到OSS

sudo su hdfs
hbase org.apache.hadoop.hbase.mapreduce.Driver export TestTable oss://$bucket/$path

• Cluster-B中执行Import命令

sudo su hdfs
hbase org.apache.hadoop.hbase.mapreduce.Driver import TestTable oss://$bucket/$path

• 清理OSS中临时文件夹

2. distcp

将Cluster-A中HDFS的表文件distcp拷贝到Cluster-B的HBase在HDFS中对应的目录

• Cluster-A中将HBase的表在HDFS存储文件distcp到Cluster-B的HBase在HDFS中对应的目录(hdfs账户)

sudo su hdfs
hadoop distcp /hbase/data/default/* hdfs://B:9000/hbase/data/default

备注:

/hbase/data/default是E-MapReduce中HBase表在HDFS存储路径，例如表TestTable 的存储路径是/hbase/data/default/TestHbase, 可以只有单个表的路径，也可以是default下面所有表的路径(即*表示)

• Cluster-B中执行HBase repair修复(hdfs账户)

 sudo su hdfs
 hbase hbck -repair