分享

spark如何调优

desehawk 发表于 2017-10-30 19:05:39 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 3760
问题:
有会spark gc调优~~~

回答1:
gc 主要 看 gc间隔,gc消耗时间,主要调节因素是你程序 对象数量

回答2:
首先要了解gc的原因,调节方面最直接的方法就是调大你的executor内存,executor堆外内存,连接时长,driver内存也可以适量调大,影响不大,jvm的垃圾回收可以将CMS改成G1,各个参数可以适量的调大,就是分资源,其次,是你的程序上的问题,对象呀,序列化呀,尽量少生成RDD等都可以调

来自:
about云7群:552029443:CAM(657337968) ,Lemon_tree(805034217),咖啡好苦(1010355357)
整理分享给大家



已有(1)人评论

跳转到指定楼层
YTP520YTP 发表于 2017-11-17 10:26:08
我不会,sorry,嘻嘻
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条