分享

spark开发Scala版本不对应出现的问题



使用的版本是spark2.3:
spark发布,都会在官网公布所支持的Scala版本,但是新手开发往往容易忽略这个问题,所以在出现错误的时候,根本无从下手。下面错误是由于Scala版本问题所造成的错误。
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)

Ljava/lang/Object;
        at org.apache.spark.sql.SparkSession$Builder.config(SparkSession.scala:803)
        at org.apache.spark.sql.SparkSession$Builder.master(SparkSession.scala:856)
        at WordCount$.main(Wordcount.scala:7)
        at WordCount.main(Wordcount.scala)

Process finished with exit code 1


根据官网
http://spark.apache.org/docs/latest/
截图如下:
1.png
Spark runs on Java 8+, Python 2.7+/3.4+ and R 3.1+. For the Scala API, Spark 2.3.1 uses Scala 2.11.

You will need to use a compatible Scala version (2.11.x).


更换Scala版本为:Scala 2.11问题解决

其他版本的spark遇到这个问题,可以到官网找到对应Scala即可

已有(2)人评论

跳转到指定楼层
fly2015 发表于 2018-9-6 11:16:28
我曾经也遇到过这个问题
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条