分享

hbase适合大内存使用吗?

HawCHing 发表于 2017-4-25 15:08:46 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 7757
情况大概这样,现在有套集群,大概50节点,因前期业务规划不好,表数量很多,直接导致reigons数量也很多,当前单台regionserver的regions数量大概在600-900之间,定期有做balancer。
当前数据节点内存是64G,Hbase JVM=24G

问题:
1.拟用20个节点的新集群,内存196G替代当前集群,是否可行,因主要跑HBASE,JVM设置多大会比较合适?
2.内存调大后,是否单台的regions数量突破1200左右性能依然还不错?(因老集群之前reigons突破1000左右的时候出现过性能问题,后来disable了部分表,性能才好转)
3.各位对这种迁移替代方案有什么高见?多谢!
来自群组: Hadoop技术组

已有(3)人评论

跳转到指定楼层
2017 发表于 2017-4-25 17:10:37
jvm一般为系统的2/3,如果是196G的130G即可。突破1200个人认为没有问题。不过还是看集群的配置、调优等。
另外还需要确定自己的集群是读多,还是写多。
推荐参考
HBase最佳实践网易视频云--内存规划
http://www.aboutyun.com/forum.php?mod=viewthread&tid=18932


对于集群的迁移,分为两种
1.停止集群
2.运行时迁移
方法也都不一样
推荐参考
Hbase集群间数据迁移方法总结(包括不通信集群)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7628

迁移的时候,记得做好备份

回复

使用道具 举报

HawCHing 发表于 2017-4-26 08:56:03
2017 发表于 2017-4-25 17:10
jvm一般为系统的2/3,如果是196G的130G即可。突破1200个人认为没有问题。不过还是看集群的配置、调优等。
...

多谢回答,关于读写及迁移的文章我之前稍微了解过,现在听群友说hbase如果内存过大,fullgc的时间会很久,所以他觉得一般JVM不超过20G,关于读写这块,大概读写比是3:2的样子,所以读写方面的配置基本用了默认的配置。所以关于hbase使用大内存会存在哪些问题跟隐患,还是想详细的了解下。


另您说的迁移做好备份,应该是指元数据的备份吧,毕竟hadoop的数据做备份的话好像需求的空间还挺大...

回复

使用道具 举报

einhep 发表于 2017-4-26 14:50:53
HawCHing 发表于 2017-4-26 08:56
多谢回答,关于读写及迁移的文章我之前稍微了解过,现在听群友说hbase如果内存过大,fullgc的时间会很久 ...

个人认为hbase使用大内存是没有关系的。关键还是配置的分配的问题。比如jvm不超过20G,配置不超过即可。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条