分享

spark 慢,咋解决啊,如何增加map数,总是150

ananan36 发表于 2015-11-27 15:32:25 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 9383
INFO scheduler.TaskSetManager: Finished task 102.0 in stage 0.0 (TID 45) in 718419 ms on datanode2 (139/150)
15/11/27 14:52:24 INFO scheduler.TaskSetManager: Finished task 89.0 in stage 0.0 (TID 123) in 716908 ms on datanode2 (140/150)
15/11/27 14:52:24 INFO scheduler.TaskSetManager: Finished task 20.0 in stage 0.0 (TID 15) in 720604 ms on datanode2 (141/150)
15/11/27 14:52:28 INFO scheduler.TaskSetManager: Finished task 17.0 in stage 0.0 (TID 87) in 720623 ms on datanode2 (142/150)
15/11/27 14:54:35 INFO scheduler.TaskSetManager: Finished task 112.0 in stage 0.0 (TID 56) in 851590 ms on datanode2 (143/150)
15/11/27 14:54:42 INFO scheduler.TaskSetManager: Finished task 51.0 in stage 0.0 (TID 104) in 854820 ms on datanode2 (144/150)
这个慢,咋解决啊

已有(1)人评论

跳转到指定楼层
w123aw 发表于 2015-11-27 16:55:23
优化下试试,下面仅供参考,希望有所帮助
Spark性能优化的10大问题及其解决方案
http://www.aboutyun.com/thread-12676-1-1.html


Spark之性能优化
http://www.aboutyun.com/thread-11547-1-1.html



书籍推荐:
Spark大数据处理:技术、应用与性能优化(全)【397页】
http://www.aboutyun.com/thread-14636-1-1.html





回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条