分享

hadoop fs -put 上传文件时挂起

atsky123 发表于 2013-10-25 10:42:10 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 6145
在用 “hadoop fs -put  ....” 上传文件到hdfs时,偶尔有时会挂起,  用"ps -aux"查看,"hadoop fs -put"会长时间存在。昨天上传一个15MB左右的文件到hdfs , 但最终在hdfs下查看该文件被上传了5MB左右 , 查看日志 上传该文件的命令被挂起,长时间不退出.
经过查看namenode的日志, 发现一点可疑的地方
---------------------------------------------
2013-02-21 17:35:56,779 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Recovering lease=[Lease.  Holder: DFSClient_-348575901, pendingcreates: 1], src=/9527kfp/avfiles/360p.part8v.mp4
2013-02-21 17:36:34,233 INFO org.apache.hadoop.hdfs.StateChange: Removing lease on  file /9527kfp/avfiles/360p.part8v.mp4 from client NN_Recovery
2013-02-21 17:36:34,266 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: commitBlockSynchronization(newblock=blk_6247157035943498518_32841, file=/9527kfp/avfiles/360p.part8v.mp4, newgenerationstamp=32841, newlength=6029312, newtargets=[192.168.0.110:50060, 192.168.0.111:50060, 192.168.0.108:50060, 192.168.0.124:50060]) successful
---------------------------------------------
还请专家看看 ,这是怎么回事,怎么解决这.

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条