MR任务在reduce阶段超时！

查看数: 7652 | 评论数: 3 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2016-5-24 17:17

reduce会超时的问题，有的任务可以，有些任务不行！有谁碰到过吗？麻烦帮忙解答一下

einhep 发表于 2016-5-26 06:13:14

linjikai8888 发表于 2016-5-25 08:30
数据倾斜指的是什么意思？

数据倾斜也就是数据集中在集群的一部分节点，二分均匀分布。

更多：
hive数据倾斜原因分析及解决方案
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8296

Hadoop（7）MapReduce 性能调优：减小数据倾斜的性能损失

http://www.aboutyun.com/forum.php?mod=viewthread&tid=15544

linjikai8888 发表于 2016-5-25 08:30:10

einhep 发表于 2016-5-24 18:36
超时时间可以设置长一些，另外你看看是否数据倾斜

数据倾斜指的是什么意思？

einhep 发表于 2016-5-24 18:36:00

超时时间可以设置长一些，另外你看看是否数据倾斜

图文精华