About云-梭伦科技»专题 › 交流区 › 技术交流 › Spark › standalone和yarn模式提交任务出现问题

standalone和yarn模式提交任务出现问题

查看数: 5956 | 评论数: 2 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

帖子模式

ltne

发布时间: 2016-11-15 14:47

正文摘要:

standalone模式提交： ./bin/spark-submit --class org.apache.spark.examples.mllib.KMeansExample --master spark://master:7070 examples/jars/spark-examples_2.11-2.0.0.jar 运行自带kmens实例正常运行查看jo ...

einhep 发表于 2016-11-15 15:39:26

ltne 发表于 2016-11-15 15:02
我找到原因了，在spark-env配置了一个export SPARK_WORKER_INSTANCES=1
导致只有一个executor,去除就好了

spark内存、核数确定是个难题

ltne 发表于 2016-11-15 15:02:05

我找到原因了，在spark-env配置了一个export SPARK_WORKER_INSTANCES=1
导致只有一个executor,去除就好了

图文精华

standalone和yarn模式提交任务出现问题

正文摘要:

回复

推荐 /2