让你真正明白spark streaming

fengfengda 发表于 2017-9-7 16:55
环境变量怎么会有问题呢。没有自定义jar包啊，直接在Idea中运行的在浏览器可以看到
的错误信息

原因都是不一样的，下面仅供参考。
standalone 集群模式运行

VM options = -Dspark.master=spark://master:7077 (master应该替换为所需要的集群主机名)

Program arguments = 文件在本地机器上的绝对路径(或者hdfs://... 或者其他路径)

按照如上参数直接在idea启动spark任务，会出现异常

org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 4.0 failed 4 times, most recent failure: Lost task 0.3 in stage 4.0 (TID 77, 192.168.1.194): java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.List$SerializationProxy to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD  （见 https://issues.apache.org/jira/browse/SPARK-9219）

因此，改用submit的方式提交

①点击 File - project structure -artifacts - jar - from modules with dependency，选择对应的module和main class。


②设置VM options = -Dspark.master=spark://master:7077

！！！注意：此模式下，sc.textFile(path)实际上是 hdfs://master:7077/path

③点击 build - build artifacts，生成jar包（位于自己在idea中指定的路径下，本文在项目/out/..目录下）

④zip -d /usr/mywork/project/scala/FirstSpark/out/artifacts/firstspark_jar/firstspark.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF

（  /usr/mywork/project/scala/FirstSpark/out/artifacts/firstspark_jar/firstspark.jar是生成的jar路径 ）

（参考 http://blog.csdn.net/dai451954706/article/details/50086295，如果不加入这一步，会出现错误：Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes  

）

⑤以standalone模式提交（还有其它模式， 参见 http://blog.csdn.net/kinger0/article/details/46562473）

./spark-submit  --class WordCount --master spark://pmaster:7077 /usr/mywork/project/scala/FirstSpark/out/artifacts/firstspark_jar/firstspark.jar

（WordCount 代表要执行的任务的入口类；

spark://pmaster:7077 代表所提交的集群的master机器；

/usr/mywork/project/scala/FirstSpark/out/artifacts/firstspark_jar/firstspark.jar 代表所要提交的jar包）

666666666

学习了

打卡学习第N天