分享

为了提高hdfs的吞吐量,磁盘应该如何部署

wdx_827 发表于 2017-7-31 09:54:12 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 6286
查了写资料说采用JBOD的形式,但如果某如果有一块磁盘坏道,不好定位。有人建议以单盘的方式部署,一个盘对应一个目录的方式,但这种方式IO能上去吗?

已有(3)人评论

跳转到指定楼层
langke93 发表于 2017-7-31 14:25:03
不建议JBOD在JBOD故障恢复能力太差,一个驱动器的故障就可能导致整个JBOD的失效。这个风险太大了。


回复

使用道具 举报

wdx_827 发表于 2017-8-2 16:10:59
本帖最后由 wdx_827 于 2017-8-2 16:29 编辑

部署情况是6个机器,1个namendoe,1个secondnamenode,4个datanode。每个datanode节点有五个sata盘,然后在hdfs.xml中的dfs.datanode.data.dir中分别配置这五个盘对应的目录。最后通过TestDFSIO 测试,结果是average io rate mb/sec:133.316,速度太慢了,如何提升写入速度啊。补充一下网络是10Gb另外,另外,我自己写的程序上传数据到hdfs,10个线程每个线程上传1G文件,大概45秒左右上传完成,速率大概200MB/s多一点。感觉就是sata硬盘的最高写入速度。请问是sata盘速度导致写入速率慢吗?dfs.datanode.data.dir中分配配置五个独立的单盘,速度不是单盘写入速度的5陪吗?
回复

使用道具 举报

wdx_827 发表于 2017-8-2 16:13:36
langke93 发表于 2017-7-31 14:25
不建议JBOD在JBOD故障恢复能力太差,一个驱动器的故障就可能导致整个JBOD的失效。这个风险太大了。

感谢你的建议,我现在采用单盘的方案。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条