【HBase 运维】不停服务迁移方案汇总

迁移对于运维来说,是家常便饭,不停服迁移是对DBA的考验,下面混总了目前了解到迁移方案:

  • 利用replication 和 snapshot 完成数据迁移, 业务自动切换

步骤:

  1. 建立两个集群的replication,主从(待迁移集群—-> 新集群)

  2. 在新集群新建跟老集群一样的表, 并开始同步

  3. 暂停同步, 利用snapshot , 将老集群的表做一份快照, 例如表A
    (1)list_snapshots
    (2)snapshot ‘A’, ‘A_snapshot’
    (3)hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot A_snapshot -copy-to hdfs://新集群:8020/hbase -mappers 16
    完成之后, 在新集群导入snaphsot
    (1)disable ‘A’
    (2)restore_snapshot ‘A_snapshot’
    (3)enable ‘A’

  4. 继续同步, 完成迁移, 业务选时间迁移

  • 利用bulkload

在老集群新建一个表, 切流量, 利用bulkload 补数据

基本思路就是首先拷贝并复制snapshot到目的集群,然后开启两个集群间的数据实时同步,最后,将创建snapshot到开启数据同步之间的数据通过MR任务拷贝。

以表test_table为例:

1、添加原集群到目标集群的replication关系,并在目标集群中建立与原集群相同的表;

2、通过snapshot把历史数据导入到从集群:
在原集群执行以下指令:
a、list_snapshots
b、snapshot ‘test_table’, ‘test_table_snapshot’
c、bin/hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot test_table_snapshot -copy-to hdfs://yourdestination:9100/hbase -mappers 16
在目标集群执行以下指令:
a、disable ‘test_table’
b、restore_snapshot ‘test_table_snapshot’
c、enable ‘test_table’

3、开启原表的replication
原集群执行:
alter ‘test_table’,{NAME=>’f’,REPLICATION_SCOP=>’1’}

4、通过Export工具把快照和开启replication之间的数据导入到从表;
在原集群执行以下指令:
bin/hbase org.apache.hadoop.hbase.mapreduce.Export test_table hdfs://yourdestination:9100/import/test_table 1 1445961600000 1446048000000
1:指定了版本数,与线上一致
1445875200000 1445961600000:指定了起始时间戳
在目标集群执行以下指令:
bin/hbase org.apache.hadoop.hbase.mapreduce.Import test_table hdfs://yourdestination:9100/import/test_table

注意事项:
1、路径hdfs://yourdestination:9100/,端口是hdfs对外服务的端口,在hdfs-site.xml中配置,yourdestination是你目的集群中active namenode的主机名

    原文作者:曾小展
    原文地址: https://www.jianshu.com/p/985ef86d36e1
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞