分享

hdfs上传文件效率问题

when30 发表于 2013-10-25 10:44:19 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 10824
test.txt 是一个300M的文本 里面全是一些记录
我使用了
/home/hadoop/hadoop-0.20.2/bin/hadoop fs -put /home/hadoop/test.txt /user/hadoop/test

/home/hadoop/hadoop-0.20.2/bin/hadoop fs -copyFromLocal /home/hadoop/test.txt  /user/hadoop/test
我发现这两个命令上传文件的效率都太慢了,要等2分钟左右吧。
想请教一下如果提升hdfs上传文件的效率吗?谢谢

已有(5)人评论

跳转到指定楼层
goldtimes 发表于 2013-10-25 10:44:19
自己在顶一下~~~等待ing
回复

使用道具 举报

yuanqingyu0123 发表于 2013-10-25 10:44:19
再顶一下~~~
回复

使用道具 举报

lxs_huntingjob 发表于 2013-10-25 10:44:19
我想知道您用的是几台datanode吗?如果是3,2台,可能真看不出效果来的哦~~只是猜想,帮你顶顶~
回复

使用道具 举报

fylanyu 发表于 2013-10-25 10:44:19
数据录入的效率和网络环境、硬盘I/O以及当前集群I/O情况有直接的关系。
一般来说,千兆环境下的入库速度可以达到96M/s -- 106M/s的速度。但是需要满足一下条件:
1、千兆环境(千兆交换机、千兆网线、千兆网卡等)
2、每个节点有超过2块以上的7200转的硬(我配置的是每个节点是2块500G的7200转的硬盘)
3、集群无其他的I/O操作。(不进行MR计算,就是单纯的入数据)
如果说集群是I/O并发的情况下,也就是说集群在做计算的时候,同时也做数据录入操作。那么入库的速率会有一定的下降。
回复

使用道具 举报

when30 发表于 2013-10-25 10:44:19
回复 5# dajuezhao
   按LZ说的,他只用-put 转存数据,是没有在进行MR计算的。我感觉主要是网络的吧~吗?LZ自己出来说说话嘛~发了帖子自己都消失了~
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条