Hbase集群间数据迁移方法总结（包括不通信集群）

问题导读：

1.不同版本间集群是否可以迁移？
2.distcp命令的作用是什么？
3..MEAT表的作用是什么？
4.相互不通信集群，数据该如何迁移？



HBase迁移数据方案一（集群互联）


花了一天的时间查资料做测试，略微的总结了一下hbase数据迁移的方法。

一、需要在hbase集群停掉的情况下迁移

步骤：
(1)执行Hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest"

(2)在new cluster执行./hbase org.jruby.Main add_table.rb /hbase/table20111222，将拷贝来的表加入到.MEAT.中（会出现region的数目不一致的问题，这个需要重启hase才能解决）

说明：(1)filelist为hdfs上的列表文件，内容如下：

/hbase/table20111222

/hbase/table20120131

(2)如果两个集群的hadoop版本不一致，需要在new cluster上执行hadoop distcp，否则会出现读写异常；

二、在集群运行的时候进行数据迁移

1、Replication：
这个是动态的备份（可以理解为实时备份）

步骤：
(1)在old cluster将需要迁移的表属性进行修改：

disable 'your_table'

alter 'your_table', {NAME => 'family_name', REPLICATION_SCOPE => '1'}

enable 'your_table'

(2)打开new cluster集群的replication，修改hbase-site.xml

<property>

<name>hbase.replication</name>

<value>true</value>

</property>

(3)添加peer，在new cluster的hbase shell中执行：add_peer '1','old cluster ip:2181:/hbase'，启动replication，执行start_replication

说明：需要两个集群的hadoop版本一致，否则出现读写错误

2、CopyTable：
可以在本集群中拷贝一张表，也可以将表拷贝到其他的集群中。

命令：./hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=new cluster ip:2181:/hbase zy_test

说明：(1)拷贝完成，不需要重启机器，在new cluster中就可以看到该表;

(2)稳定性还需要考虑，测试过程中遇到一个问题，拷贝过程中始终都停留在这里Lookedup root region location, 查看日志没有什么错误和相关的信息。


3、Export and Import

步骤：
(1)在old cluster上执行：./hbase org.apache.hadoop.hbase.mapreduce.Export test hdfs://new cluster ip:9000/zhuangyang/test

(2)在new cluster上执行：./hbase org.apache.hadoop.hbase.mapreduce.Import test hdfs://new cluster ip:9000/zhuangyang/test

说明：
(1)一定要写全路径，不能写相对路劲;

(2)在import前，需要将表事先在new cluster中创建好.

以上都是在old cluster和new cluster网络相通的情况下实现数据迁移的办法。




HBase迁移数据方案二（两个集群不能通信）

两个可以直接通信的集群之间很容易拷贝数据从而迁移HBase数据。

但是如果两个集群在不同的网络，没法通信呢？

今天测试了一个方案：

把某个表(table1)从集群1迁移到集群2（两个集群互相看不见），步骤如下

1、拷贝集群1的表文件到本地磁盘 :

/app/cloud/Hadoop/bin/hadoop fs -copyToLocal /hbase/table1 /data0/hbase-backup/table1  

2、对于文件操作，很简单吧，随便你怎么去拷贝来拷贝去

3、如果集群2中也有对应的表文件，那么删除掉，然后拷贝

/app/cloud/hadoop/bin/hadoop fs -rmr /hbase/table1   
/app/cloud/hadoop/bin/hadoop fs -copyFromLocal /data0/hbase-backup/table1 /hbase/table1  

4、重置该表在.META.表中的分区信息
bin/hbase org.jruby.Main bin/add_table.rb /hbase/table1  
另外：

1、如果表的数据量过大呢？ 那么按照该表在HDFS中的文件夹数据，分批拷贝。

2、如果两个集群可以互相通信呢？采用第一种方案即可

bbbbbbbbbbbbbbbbbbbbbbbbbbbbb

帮棒棒棒棒棒棒棒棒棒棒棒棒棒棒棒棒棒棒棒棒棒棒棒棒

不错，最近在搞这个

我现在按HBase迁移数据方案二执行的 先把第一个集群的数据拷贝到本地，再拷贝到新集群，但是我在新集群的shell里 list看不到表 您清楚怎么回事吗？

小伙425 发表于 2016-11-21 17:39
我现在按HBase迁移数据方案二执行的 先把第一个集群的数据拷贝到本地，再拷贝到新集群，但是我在新集群的sh ...

可能元数据的问题，比如mata表没有数据

langke93 发表于 2016-11-21 17:48
可能元数据的问题，比如mata表没有数据

那应该怎么操作呢？我现在也可以给表建快照 挨张表去操作 之后再拷贝到新的集群去生成表，但是现在表太多了。。

小伙425 发表于 2016-11-21 18:12
那应该怎么操作呢？我现在也可以给表建快照 挨张表去操作 之后再拷贝到新的集群去生成表，但是现在表太多 ...

在集群里找到这个表，然后看看是否复制过去了

langke93 发表于 2016-11-21 18:18
在集群里找到这个表，然后看看是否复制过去了

在集群里找这个表？在目标集群还是原集群呢？我现在拷贝到目标集群的东西是放在了hdfs下的hbase目录下的 是不是应该刷新下对应的目标集群的meta信息啊？还是需要怎么操作？

你好，楼主是否对各个版本直接的集群数据迁移有所研究，据说不同的版本有的工具是不支持的，且处理上也是有区别的。另外对性能上，如何做选择，譬如同是可通信的两个集群，copytable和Export/import工具性能上哪个更快