分享

HDFS副本问题

IT_雪夜归人 发表于 2016-5-9 16:00:55 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 5625
现在有三台机器的一个CDH集群,但是硬盘配置不太一样,导致默认三副本下面,有一台服务器硬盘较小成为短板,求教最好的处理办法是什么?生产环境不容有失,求教。
问题:1、最好的处理方法是什么?
          2、因为主要是hbase数据,是否可以通过修改配置,只让新增的数据是两副本?
          3、直接这么干hadoop fs -setrep -R 2 /hbase 是否有风险(hdfs空间三台已经占用了20T了,生产环境),是否有风险?
          4、先做hdfs快照,然后尝试 hadoop fs -setrep -R 2 /hbase 出了问题是否可以通过hdfs快照恢复数据?
问的问题比较多,因为比较急,也比较谨慎,求大神们耐心解答,非常感谢。

已有(2)人评论

跳转到指定楼层
IT_雪夜归人 发表于 2016-5-9 17:28:50
我想到的还有就是把硬盘小的那个datanode下线
回复

使用道具 举报

bioger_hit 发表于 2016-5-9 18:59:32
本帖最后由 bioger_hit 于 2016-5-9 19:02 编辑

1.快照的数据的备份是没有问题的,对于副本还不太清楚。

2.为何想修改为两个副本,一般三个是比较合适的。空间不够可以增加节点

3.hadoop可以配置剩余空间,楼主可以单独配置一个datanode尝试
hadoop2 里面 磁盘预留空间  配置参数 是???
http://www.aboutyun.com/forum.php?mod=viewthread&tid=9492
4.如果能摘掉,可以摘掉那个节点



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条