Spark 提交任务出错

使用的软件是Cloudare manager 5.4.5安装完PI后提交任务报错，有的机器提交没问题，有的有问题，这是什么原因呢提交的命令：spark-submit --class org.apache.spark.examples.SparkPi  --master yarn-cluster /opt/cloudera/parcels/CDH-5.4.5-1.cdh5.4.5.p0.7/lib/spark/lib/spark-examples-1.3.0-cdh5.4.5-hadoop2.6.0-cdh5.4.5.jar 10
java.io.FileNotFoundException: /user/spark/applicationHistory/application_1462236388531_0063.inprogress (没有那个文件或目录)        at java.io.FileOutputStream.open(Native Method)        at java.io.FileOutputStream.<init>(FileOutputStream.java:221)        at java.io.FileOutputStream.<init>(FileOutputStream.java:110)        at org.apache.spark.scheduler.EventLoggingListener.start(EventLoggingListener.scala:117)        at org.apache.spark.SparkContext.<init>(SparkContext.scala:399)        at org.apache.spark.examples.SparkPi$.main(SparkPi.scala:28)        at org.apache.spark.examples.SparkPi.main(SparkPi.scala)        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)        at java.lang.reflect.Method.invoke(Method.java:606)        at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:480)

/user/spark/applicationHistory/application_1462236388531_0063.inprogress
是不是这里忽略了，是usr，还是user。

atsky123 发表于 2016-5-4 10:39
/user/spark/applicationHistory/application_1462236388531_0063.inprogress
是不是这里忽略了，是usr， ...

user,问题解决了，谢谢，在spark-default.conf中加上hdfs://xxxxx/user/...就行了，使用Cloudera时没有自动分发到其他的机器，这个问题得再看看
spark.eventLog.dir=hdfs://nameservice1/user/spark/applicationHistory,之前没有粗体部分