分享

hadoop集群datanode磁盘空间利用

集群中datanode中磁盘存储3台1T,1台2T如何将那台2T的存储充分利用起来,使用什么策略?

已有(2)人评论

跳转到指定楼层
yuwenge 发表于 2017-9-4 17:49:27
策略是啥意思。如果数据有热点,可以使用hadoop的负载均衡。数据均匀分布。如下面

sh $HADOOP_HOME/bin/start-balancer.sh –t 10%

来自:
HADOOP HDFS BALANCER介绍及经验总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7354




回复

使用道具 举报

一曲离殇 发表于 2017-9-4 19:14:09
yuwenge 发表于 2017-9-4 17:49
策略是啥意思。如果数据有热点,可以使用hadoop的负载均衡。数据均匀分布。如下面

sh $HADOOP_HOME/bin/ ...

HDFS BALANCE是根据磁盘存储还是磁盘利用率
数据节点磁盘存储大小不一致时【4台主机中3台主机存储1T,1台主机2T】
示例【按照上面的4台主机】:
加入有2T数据
是每台主机上有0.5T数据【每台主机使用存储一致,磁盘利用率:3台50%,1台25%】
还是前3台上有0.4T,最后一台0.8T【每台主机磁盘利用率一致,40%】
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条