分享

hdfs上传大数据死机重启

pandatyut 发表于 2016-10-10 20:47:18 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 1 20721
用hadoop命令行上传一个3G的文件(hdfs dfs -put sample_consuming_data.txt /test/sparkData/scala/)的时候报警告:WARN hdfs.DFSClient: Slow ReadProcessor read fields took 38120ms (threshold=30000ms);过一段时间之后集群就直接重启了,有人知道是怎么回事吗截图如下

205103xd8cedeeqxeny3aj.png

已有(1)人评论

跳转到指定楼层
langke93 发表于 2016-10-10 21:07:42
文件过大,会导致超时。这个参数可以设置的更大一些

threshold=30000ms


这篇博客,遇到的问题跟楼主一样,文件过大,集群就重启了。不过还能继续传,而且成功了

http://blog.csdn.net/tutucute0000/article/details/39756123
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条