HFileOutputFormat生成HFile后Region数量问题

在项目中使用HFileOutputFormat生成HFile，配置中Table的Region大小为60，Reduce数量也为60，按理论说最后生成的HFile的Region也应该是60个Region，整体数据量大约800G，但是生成HFile后一共生成了480个Region，每个HFile文件大约在1.5G左右，导入HBas时也是480个Region，请问下如何设置一个HFile文件的大小，不让它自动分裂？其中配置hbase.hregion.max.filesize=10G。

pengsuyun · 发表于 2015-1-13 21:47:06

楼主，什么情况下需要自己去生成HFile文件，求教了。

大数据爱我 · 发表于 2015-1-13 21:57:50

pengsuyun 发表于 2015-1-13 21:47
楼主，什么情况下需要自己去生成HFile文件，求教了。

数量很大，初始化表，用HTable的put时会比较慢，会出现RegionTooBusinessException。

jixianqiuxue · 发表于 2015-1-14 00:53:42

大数据爱我发表于 2015-1-13 21:57
数量很大，初始化表，用HTable的put时会比较慢，会出现RegionTooBusinessException。

hbase.mapreduce.hfileoutputformat.blocksize
MapReduce 中HFileOutputFormat可以写 storefiles/hfiles. 这个值是hfile的blocksize的最小值。通常在Hbase写Hfile的时候，bloocksize是由table schema(HColumnDescriptor)决定的，但是在mapreduce写的时候，我们无法获取schema中blocksize。这个值越小，你的索引就越大，你随机访问需要获取的数据就越小。如果你的cell都很小，而且你需要更快的随机访问，可以把这个值调低。
默认: 65536

楼主，可以试试这个参数
来源：
HBase 默认配置说明（收藏版）