sparkstreaming的提交就卡死

sstutu 发表于 2017-7-21 09:49
def main(args: Array[String]) {
    if (args.length != 3) {
      System.err.println("Usage:   " ...

看不出来毛病。。比较愚昧 望大神指点一下。。

sstutu 发表于 2017-7-21 09:49
def main(args: Array[String]) {
    if (args.length != 3) {
      System.err.println("Usage:   " ...

您说的堵死 我不太认可，，因为我传递的参数 确实是3个啊
所以你说的跳出这个我觉得不成立。

另外spark-submit的时候 后面带的3个参数 顺序为什么会有变化，不懂，请指教。

remarkzhao 发表于 2017-7-21 10:03
您说的堵死 我不太认可，，因为我传递的参数 确实是3个啊
所以你说的跳出这个我觉得不成立。

计算机是一门实践课程，你测试下
if (args.length != 3) {
      System.err.println("Usage: <filename> <port> <millisecond>")
      System.exit(1)
    }
把这段代码去掉，并且给他们赋上初值。然后在按照正常的提交方式。不要带上这三个参数。

sstutu 发表于 2017-7-21 10:12
if (args.length != 3) {
      System.err.println("Usage:   ")
      System.exit(1)

嗯嗯。好的。我试试。。。

remarkzhao 发表于 2017-7-21 10:13
嗯嗯。好的。我试试。。。

按照这方式提交即可
spark-submit \
--class  org.apache.spark.examples.streaming.DataSourceSocket  \
--master local[3] \
/root/tools/spark/mycode/streaming/target/scala-2.11/simple-project_2.11-1.0.jar

sstutu 发表于 2017-7-21 10:15
按照这方式提交即可
spark-submit \
--class  org.apache.spark.examples.streaming.DataSourceSocket  ...

en en .懂得。。

sstutu 发表于 2017-7-21 10:15
按照这方式提交即可
spark-submit \
--class  org.apache.spark.examples.streaming.DataSourceSocket  ...

[root@hadoop001 streaming]# spark-submit --class "org.apache.spark.examples.streaming.DataSourceSocket" /root/tools/spark/mycode/streaming/target/scala-2.11/simple-project_2.11-1.0.jar
^C[root@hadoop001 streaming]spark-submit --class "org.apache.spark.examples.streaming.DataSourceSocket" --master local[3] /root/tools/spark/mycode/streaming/target/scala-2.11/simple-project_2.11-1.0.jar
还是这个样子。。。

remarkzhao 发表于 2017-7-21 10:33
[root@hadoop001 streaming]# spark-submit --class "org.apache.spark.examples.streaming.DataSourceSo ...

最好上图，另外一点漏掉了master。即使本地模式，也需要master。还有类，是否有空格，加引号的作用是什么。

来了。。。

引号一直不知道作用是什么。。。

sstutu 发表于 2017-7-21 10:43
最好上图，另外一点漏掉了master。即使本地模式，也需要master。还有类，是否有空格，加引号的作用是什么 ...

如果是local模式 为什么要master？我认为只有集群才会有需要啊。。一个是管理的 另几个是worker