intellijidea 用scala写了个spark的demo报错求助

本人刚刚接触intellijidea这块今天写的代码报错，搞了半天也出问题，求大神给我指点一下。

报错信息

具体代码

libraries

基本配置

求教~~~

jxlxxxmz 发表于 2017-7-27 18:32
求教~~~

spark包是否引入了。
可能是环境的配置问题。
推荐参考
about云日志分析项目准备10：使用Intellij Idea搭建Spark Streaming开发环境(SBT版本)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20855

about云日志分析项目准备10-1：Intellij Idea 手动添加本地依赖

http://www.aboutyun.com/forum.php?mod=viewthread&tid=20907

yuwenge 发表于 2017-7-27 18:45
spark包是否引入了。
可能是环境的配置问题。
推荐参考

这个帖子我看了，里边的spark版本是1.6的，我这个是2.1的，比较新，会不会是与scala2.11不匹配？
spark的包我导入了，spark的核心包core，其他应该都不需要。

jxlxxxmz 发表于 2017-7-27 19:05
这个帖子我看了，里边的spark版本是1.6的，我这个是2.1的，比较新，会不会是与scala2.11不匹配？
spark ...

Spark 2.2.0 使用的Scala 2.11. spark 2.1不清楚。里面有hadoop包吗？

程序应该有个小问题，就是设置master为本地模式的时候，应该是local[n],n>=2,比如local[2]

xiaobaiyang 发表于 2017-7-28 08:37
程序应该有个小问题，就是设置master为本地模式的时候，应该是local[n],n>=2,比如local[2]

主要是编译找不到rdd。其实我也可以加一个【*】，这个我是知道的，就是不知道是版本的问题还是什么，报错找不到依赖。

nextuser 发表于 2017-7-27 19:25
Spark 2.2.0 使用的Scala 2.11. spark 2.1不清楚。里面有hadoop包吗？

没有hadoop，需要用hadoop包么？找不到rdd，应该spark核心包的东西，那我加一下试试

jxlxxxmz 发表于 2017-7-28 10:18
没有hadoop，需要用hadoop包么？找不到rdd，应该spark核心包的东西，那我加一下试试

spark应该都有对应的hadoop。而且spark与hadoop是需要编译的。
楼主的spark是单独部署的吗？
还有另外一个办法就是先写一个简单的spark程序。看看是否同样的问题。

nextuser 发表于 2017-7-28 14:24
spark应该都有对应的spark。而且spark与hadoop是需要编译的。
楼主的spark是单独部署的吗？
还有另外一 ...

部署了一个集群，三台机子，spark hadoop都在上面，其实都正常着呢，我再试试写个简单的spark程序好了，还是十分感谢！！