分享

spark standalone 没有结果 这是什么情况。。

remarkzhao 发表于 2017-8-3 08:50:08 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 5993
各位大神额,这是我在windows下用idea写的。

import org.apache.spark._
object WordCount {
  def main(args: Array[String]): Unit = {
    val conf  = new SparkConf().setMaster("spark://192.168.217.131:7077").setAppName("WordCount")

    val sc = new SparkContext(conf)
    sc.addJar("/root/tools/spark/mycode/wordcount.jar")
    val textFile = sc.textFile("hdfs://192.168.217.131:9000/user/README.md")
    val wc = textFile.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey((x,y) => (x+y))
    wc.foreach(println)
    //println(wc.foreach())
  }}

  打成jar之后放在spark集群的master上 路径是:/root/tools/spark/mycode/wordcount.jar
  执行命令1:spark-submit --master spark://192.168.217.131:7077  --class WordCount                \ /root/tools/spark/mycode/wordcount.jar   结果:有stage进度条,但是没有代码中的打印结果
  执行命令2: spark-submit --master spark://192.168.217.131:7077 --deploy-mode cluster --class WordCount                  \ /root/tools/spark/mycode/wordcount.jar  结果: java.nio.file.NoSuchFileException: /root/tools/spark/mycode/wordcount.jar  执行命令3: spark-submit --master yarn --deploy-mode client --class WordCount                \ /root/tools/spark/mycode/wordcount.jar   结果跟命令1结果一样
hadoop集群: hadoop001 master   hadoop002 ,hadoop003 slaves   已启动
spark集群:  hadoop001 master   hadoop002,hadoop003 worker   已启动


已有(4)人评论

跳转到指定楼层
rsgg03 发表于 2017-8-3 09:08:38
这个跟源文件应该也有点关系。
里面比较明显的是
sc.addJar("/root/tools/spark/mycode/wordcount.jar")应该没有必要添加。


回复

使用道具 举报

tntzbzc 发表于 2017-8-3 09:44:51
把wc转换为集合,在输出试试
wc.collect().foreach(println)


回复

使用道具 举报

fly2015 发表于 2017-8-3 11:18:04
没有action操作吧
回复

使用道具 举报

tntzbzc 发表于 2017-8-3 12:12:17
本帖最后由 tntzbzc 于 2017-8-3 12:17 编辑
fly2015 发表于 2017-8-3 11:18
没有action操作吧

参数似乎有些问题
/root/tools/spark/mycode/wordcount.jar
  执行命令1:spark-submit --master spark://192.168.217.131:7077  --class WordCount                \ /root/tools/spark/mycode/wordcount.jar

这里面落下了
--name 应用程序名称

还有最好指定内存等参数
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条