分享

hadoop故障后文件拷贝优先级问题,能调低吗?

lanyangkj 发表于 2016-7-29 14:06:26 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 6500
业务场景描述:
我的cloudera集群5个节点,但前两天突然宕机了一台服务器,导致大量文件块移动拷贝问题。集群内的数据量大概在30T左右,因为网卡是千兆的,好几个小时内,整个集群网络被这种故障后文件块移动拷贝占满,正常业务数据再也入不了库了。

期望目标:

1、降低拷贝优先级,毕竟三个副本块,最多坏一个,至少还有两个块正常,所以故障引起文件拷贝不是最要紧,能否降低这个级别,如到晚上业务不繁忙时候再移动也不迟,至少得保证现在入库业务。
2、调什么参数?故障恢复后是自动平衡还是需要手动操作?

其他:


1、像这种hadoop集群5个节点是否有点少啊?(每天200G左右的入库hbase数据量,入库行级每日在5亿行左右)。
2、大家的集群一般都多少个节点?是不节点也多并发能力越强,单台服务器宕机产生的故障影响不大?
3、大家的生产环境的服务器用的物理机还是openstack等虚拟化?


已有(1)人评论

跳转到指定楼层
arsenduan 发表于 2016-7-29 17:18:52
复制和插入使用不同的端口,然后对端口限制,也不知道行不行,只是提供给楼主参考 这里也有个文档,楼主可参考

基于动态带宽分配的Hadoop数据负载均衡方法

链接:http://pan.baidu.com/s/1c24vGQk 密码:n8xd
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条