读取hbase表t1，生成hfile，将hfile导入hbase表t2

有个需求：
读取hbase 表 t1 某列c1，生成hfile，将hfile导入新表t2.

我想用MapReduce遍历t1表，逐条生成hfile，这种方式是否可行，想法是否正确？

数据量多大，数据量小可以读取完直接插入。spark使用spark也可以完成。

mapreduce本身输出的就是hfile，不用逐条。那麻烦了。生成后在直接bulkload.

使用命令如下
参考下面文章：
MapReduce生成HFile文件,再使用BulkLoad导入HBase中(完全分布式运行)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=10665


更多
hbase数据快速导入方案--bulkload
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8418

hyj 发表于 2018-3-22 19:20
数据量多大，数据量小可以读取完直接插入。spark使用spark也可以完成。

数据量非常大，生产上的管理员要求用bulkload实现。

langke93 发表于 2018-3-22 20:58
mapreduce本身输出的就是hfile，不用逐条。那麻烦了。生成后在直接bulkload.

使用命令如下

这个帖子我看了，现在有个疑问，我 并不知道hbase表在hdfs的位置，这个怎么破？

ohano_javaee 发表于 2018-3-23 10:37
这个帖子我看了，现在有个疑问，我 并不知道hbase表在hdfs的位置，这个怎么破？

查看hbase的配置文件
hbase中 hbase-site.xml 包含如下配置：
[mw_shl_code=bash,true]<property>
<name>hbase.root.dir</name>
<value>hdfs://computerName:7001/hbase</value>
</property>[/mw_shl_code]

qcbb001 发表于 2018-3-23 11:09
查看hbase的配置文件
hbase中 hbase-site.xml 包含如下配置：
[mw_shl_code=bash,true]

谢谢指点， 找到了！！！