立即注册 登录
About云-梭伦科技 返回首页

pig2的个人空间 https://www.aboutyun.com/?61 [收藏] [复制] [分享] [RSS]

日志

hadoop(hdfs)限额配置

已有 899 次阅读2015-6-24 20:11

应用场景: 同一个集群内有些服务器磁盘 2T,有些服务器 500G,2T 的服务器磁盘得不到有效利用,这是就需要对 500G 的磁盘做限额配置.

配置方法: 在 hdfs-site.xml 里配置如下参数,注意,那个 value 的值是配置该磁盘保留的DFS不能使用的空间大小,单位是字节. (如果多块硬盘,则表示为每块硬盘保留这么多空间)
dfs.datanode.du.reserved
236223201280
Reserved space in bytes per volume. Always leave this much space free for non dfs use.

生效方法:  重启 datanode 使该参数生效,可逐台在线重启.

for i in `list `;do
    ssh $i "hadoop/bin/hadoop-daemon.sh stop datanode && sleep 1 && hadoop/bin/hadoop-daemon.sh start datanode; sleep 30";
done

验证方式: hdfs web 中查看 Configured Capacity (GB) 大小是否已经限制为预留空间.
 
Hadoop 测试版本:Version:  0.20.2-cdh3u4, r110565

路过

雷人

握手

鲜花

鸡蛋

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条