spark应用程序只能通过spark-submit提交么

每次写好一个spark应用程序都需要进行打包，然后通过spark-submit提交才能运行，感觉很费劲，Spark有没有像hadoop Mapreduce那样的方式直接运行程序的呢？

howtodown · 发表于 2014-10-30 20:52:09

可以的，需要做一些设置，如下
1.必须在Linux下提交
2.设置下环境变量SPARK_JAR 和 SPARK_YARN_APP_JAR
3.相互配置host
4.程序中加入hadoop、yarn、依赖。
5.hadoop conf下的*-site.xml需要复制到提交主机的classpath下，或者说maven项目resources下面。
6.编写程序

详细参考

spark用程序提交任务到yarn