分享

请教大神,hadoop增加节点后,map和reduce都感觉慢了,是什么原因

albert7288 发表于 2015-12-31 22:56:34 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 11772
hadoop增加节点,从原来的13个点,增加到40个,数据还没做平衡处理,执行任务(hive),发觉map和reduce都比原来的慢了,特别是reduce经常会卡住,剩下2个reduce,有个疑问,新的节点,没有数据,跑map时,是节点要把数据拷贝过去才能执行吗,请问,如何查下原因

已有(2)人评论

跳转到指定楼层
goldtimes 发表于 2016-1-1 10:16:32
增加节点后,reblance下,让数据均匀分布
楼主情况,可能是数据倾斜造成的。
回复

使用道具 举报

albert7288 发表于 2016-1-2 12:20:11
好的,正在做平衡,数据需要移动50多T,再看看效果
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条