spark on yarn 的配置疑问

spark在yarn模式下，若在spark-env.sh中加入了如下的配置

[mw_shl_code=xml,true]
export SPARK_EXECUTOR_MEMORY=1000m
export SPARK_WORKER_MEMORY=2500m
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=2
export SPARK_DRIVER_MEMORY=2048M[/mw_shl_code]

这里的 INSTANCES  是指在每一台slave上启动的work数量还是整个集群启动的work的总数？

木知道，貌似没配置过这个参数，只配置过executor

轩辕依梦Q 发表于 2016-3-25 18:29
木知道，貌似没配置过这个参数，只配置过executor

设置每个节点【机器】的工作进程的数量

这个参数指每个节点启动的worker进程数，也就是每个节点JVM的数量。设置这个参数要同时设置SPARK_WORKER_CORES限制worker使用的内核数，否者每个worker都会尝试使用全部的cores

thankyou