spark如何内存设置

我有10台 2CPU,24线程，128内存，内存，CORS,INSTANS该如何设置，求帮忙

spark.cores.max

当应用程序运行在Standalone集群或者粗粒度共享模式Mesos集群时，应用程序向集群请求的最大CPU内 核总数（不是指每台机器，而是整个集群）。如果不设置，对于Standalone集群将使用spark.deploy.defaultCores中数值， 而Mesos将使用集群中可用的内核

如果最大的，楼主可以把所有内核加起来。
INSTANS是指什么

xuanxufeng 发表于 2015-11-29 19:58
spark.cores.max

当应用程序运行在Standalone集群或者粗粒度共享模式Mesos集群时，应用程序向集群请求的 ...

指SPARK_WORKER_INSTANCES，设置SPARK_WORKER_INSTANCES=1 SPARK_WORKER_MEMORY=40好，还是SPARK_WORKER_INSTANCES=4 SPARK_WORKER_MEMORY=10G好

继续顶

ananan36 发表于 2015-11-30 16:51
指SPARK_WORKER_INSTANCES，设置SPARK_WORKER_INSTANCES=1 SPARK_WORKER_MEMORY=40好，还是SPARK_WORKER_ ...

如果数据量大SPARK_WORKER_INSTANCES=4 SPARK_WORKER_MEMORY=10G就采用这种方案


设置SPARK_WORKER_INSTANCES=1 SPARK_WORKER_MEMORY=40
数据量小可以采用这种方案

好好学习，天天向上