为了明天time 发表于 2017-11-10 18:19:17

hadoop跨集群读写疑问

请问各位大神,hadoop跨hdfs读写只能用distcp吗?拷贝一个4T的文件夹 ,起的MR任务map有1万多个,全跑在集群某一台机器(随机的节点)上了,导致该节点带宽报警,是什么情况呢

yuwenge 发表于 2017-11-10 19:12:14

用wondershaper软件限制下网速
推荐参考
大数据软件如何限制网速





为了明天time 发表于 2017-11-13 10:31:07

yuwenge 发表于 2017-11-10 19:12
用wondershaper软件限制下网速
推荐参考
大数据软件如何限制网速

集群不是一个人用啊,不能做这样的限制的。跨hdfs集群读写只能用distcp吗?
页: [1]
查看完整版本: hadoop跨集群读写疑问