日志
spark开发必须注意Scala版本
|
使用的版本是spark2.3：
spark发布，都会在官网公布所支持的Scala版本，但是新手开发往往容易忽略这个问题，所以在出现错误的时候，根本无从下手。下面错误是由于Scala版本问题所造成的错误。
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
Ljava/lang/Object;
at org.apache.spark.sql.SparkSession$Builder.config(SparkSession.scala:803)
at org.apache.spark.sql.SparkSession$Builder.master(SparkSession.scala:856)
at WordCount$.main(Wordcount.scala:7)
at WordCount.main(Wordcount.scala)
Process finished with exit code 1
根据官网
http://spark.apache.org/docs/latest/
截图如下：
更换Scala版本为：Scala 2.11问题解决
其他版本的spark遇到这个问题，可以到官网找到对应Scala即可
spark发布，都会在官网公布所支持的Scala版本，但是新手开发往往容易忽略这个问题，所以在出现错误的时候，根本无从下手。下面错误是由于Scala版本问题所造成的错误。
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
Ljava/lang/Object;
at org.apache.spark.sql.SparkSession$Builder.config(SparkSession.scala:803)
at org.apache.spark.sql.SparkSession$Builder.master(SparkSession.scala:856)
at WordCount$.main(Wordcount.scala:7)
at WordCount.main(Wordcount.scala)
Process finished with exit code 1
根据官网
http://spark.apache.org/docs/latest/
截图如下：
更换Scala版本为：Scala 2.11问题解决
其他版本的spark遇到这个问题，可以到官网找到对应Scala即可
/2 
