分享

spark.buffer.pageSize 在哪里调整哪位大神知道呢

credit 发表于 2016-3-11 15:54:05 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 15055
spark.buffer.pageSize 在哪里调整哪位大神知道呢

http://blog.csdn.net/lsshlsw/article/details/50043097

已有(2)人评论

跳转到指定楼层
atsky123 发表于 2016-3-11 19:50:18
spark配置文件不多吧
spark-defaults.conf

#############################
Spark shell 和 spark-submit脚本支持两个动态加载配置的方法. 第一种是命令行参数, 如上面用到的 --master. spark-submit通过--conf可以接收任意的spark属性, 但会使用一些其它参数来启动Spark应用. 运行./bin/spark-submit --hp 会显示完整的参数列表.

bin/spark-submit会从conf/spark-defaults.conf读取缺省的配置参数, 每一行包括一个键和一个值, 由空格分隔.

回复

使用道具 举报

credit 发表于 2016-3-14 09:52:16
atsky123 发表于 2016-3-11 19:50
spark配置文件不多吧
spark-defaults.conf

谢谢了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条