迁移对于运维来说,是家常便饭,不停服迁移是对DBA的考验,下面混总了目前了解到迁移方案:
利用replication 和 snapshot 完成数据迁移, 业务自动切换
步骤:
建立两个集群的replication,主从(待迁移集群—-> 新集群)
在新集群新建跟老集群一样的表, 并开始同步
暂停同步, 利用snapshot , 将老集群的表做一份快照, 例如表A
(1)list_snapshots
(2)snapshot ‘A’, ‘A_snapshot’
(3)hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot A_snapshot -copy-to hdfs://新集群:8020/hbase -mappers 16
完成之后, 在新集群导入snaphsot
(1)disable ‘A’
(2)restore_snapshot ‘A_snapshot’
(3)enable ‘A’继续同步, 完成迁移, 业务选时间迁移
利用bulkload
在老集群新建一个表, 切流量, 利用bulkload 补数据
基本思路就是首先拷贝并复制snapshot到目的集群,然后开启两个集群间的数据实时同步,最后,将创建snapshot到开启数据同步之间的数据通过MR任务拷贝。
以表test_table为例:
1、添加原集群到目标集群的replication关系,并在目标集群中建立与原集群相同的表;
2、通过snapshot把历史数据导入到从集群:
在原集群执行以下指令:
a、list_snapshots
b、snapshot ‘test_table’, ‘test_table_snapshot’
c、bin/hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot test_table_snapshot -copy-to hdfs://yourdestination:9100/hbase -mappers 16
在目标集群执行以下指令:
a、disable ‘test_table’
b、restore_snapshot ‘test_table_snapshot’
c、enable ‘test_table’
3、开启原表的replication
原集群执行:
alter ‘test_table’,{NAME=>’f’,REPLICATION_SCOP=>’1’}
4、通过Export工具把快照和开启replication之间的数据导入到从表;
在原集群执行以下指令:
bin/hbase org.apache.hadoop.hbase.mapreduce.Export test_table hdfs://yourdestination:9100/import/test_table 1 1445961600000 1446048000000
1:指定了版本数,与线上一致
1445875200000 1445961600000:指定了起始时间戳
在目标集群执行以下指令:
bin/hbase org.apache.hadoop.hbase.mapreduce.Import test_table hdfs://yourdestination:9100/import/test_table
注意事项:
1、路径hdfs://yourdestination:9100/,端口是hdfs对外服务的端口,在hdfs-site.xml中配置,yourdestination是你目的集群中active namenode的主机名