分享

hadoop跨集群读写疑问

为了明天time 发表于 2017-11-10 18:19:17 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 5333
请问各位大神,hadoop跨hdfs读写只能用distcp吗?拷贝一个4T的文件夹 ,起的MR任务map有1万多个,全跑在集群某一台机器(随机的节点)上了,导致该节点带宽报警,是什么情况呢

已有(2)人评论

跳转到指定楼层
yuwenge 发表于 2017-11-10 19:12:14
wondershaper软件限制下网速
推荐参考
大数据软件如何限制网速





回复

使用道具 举报

为了明天time 发表于 2017-11-13 10:31:07
yuwenge 发表于 2017-11-10 19:12
用wondershaper软件限制下网速
推荐参考
大数据软件如何限制网速

集群不是一个人用啊,不能做这样的限制的。跨hdfs集群读写只能用distcp吗?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条