用IDEA开发spark，源码提交任务到YARN

查看数: 36545 | 评论数: 5 | 收藏 3

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2016-11-17 18:54

本帖最后由 desehawk 于 2016-11-18 12:12 编辑问题导读 1.本文的环境包含哪些软件？ 2.如何安装开发环境？ 3.提交源码过程中遇到了哪些问题？通常我们写了一个spark程序，总是需要将程序打成 ...

LouisPu 发表于 2017-11-28 16:06:47

以为看见了希望，确是一篇失望

君临天下 发表于 2017-9-7 17:28:55

弱智！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

zhuangmz 发表于 2016-11-18 22:41:43

楼主你好，这样是提交到Spark Cluster，不是YARN Cluster吧？

George-zqq 发表于 2016-11-18 11:20:28

不要总是无脑的复制粘贴

CoderLeonard 发表于 2016-11-18 10:30:01

楼主你好，你确定你是提交到yarn上的吗？
如果要提交到yarn，首先没有master节点的概念，然后肯定是要复制RM节点的配置文件到工程目录下的，sparkcontext才能知道RM的host和port

图文精华