分享

OpenTsdb写热点如何解决

高兴生活 发表于 2017-10-26 23:17:36 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 7011
最近测试OpenTsdb,metric只有一个,每次测试写功能的时候都会只向一个Regionserver中写数据,压力很大.翻阅文档看到可以增加"桶",参数配置上了但是还是只向一个Region中写数据,热点问题没有解决.难道分桶的同时必须在HBASE表上做预分区才能发挥桶的作用么?如果不是,那怎么才能解决这个热点问题的呢?

已有(1)人评论

跳转到指定楼层
arsenduan 发表于 2017-10-27 09:18:36

回帖奖励 +10 云币

产生热点,主要是rowkey的范围都分布在了 一个节点。然后属于这个节点的rowkey都放到了一台机器,所以产生热点。那么如何解决这个问题?
打乱rowkey。打乱有多种办法。比如前面使用uuid,或则时间倒序等方式。
当然打乱后,会产生一个问题就是如何scan。这时候可以使用hbase行键过滤器RowFilter,把前面混乱的给去掉。

更多参考
HBase的rowkey设计
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7119

HBase Rowkey的散列与预分区设计

http://www.aboutyun.com/forum.php?mod=viewthread&tid=8909

hbase RowFilter如何根据rowkey查询以及实例实现代码

http://www.aboutyun.com/forum.php?mod=viewthread&tid=8895

hbase之rowkey的设计讨论

http://www.aboutyun.com/forum.php?mod=viewthread&tid=8171


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条