分享

求助,实习生,DStream 为什么foreach 没有执行 ,代码如下

        //val kafkaStream1 = KafkaUtils.createStream(ssc, zks, group, topicmaptmp)
        println("---------------kafka----in-----------------------")
        //统计次数
        val result=scala.collection.mutable.HashMap[String,String]()
        var times=0
        var allTime:Long=0
        val events: DStream[JSONObject] = kafkaStream.flatMap(line => {
          println("-------------------------------------")
          println(line._2)
          println("-------------------------------------")
          val data = JSONObject.fromObject(line._2)
//          infologger.info(data.toString())
          Some(data)
        })
        println()
        println("---------------count  times  start------------------")
        events.foreachRDD(x=>{
          x.foreachPartition(data=>{
            data.foreach(wtf=>{
              //统计次数
              println("---------------count  times  start222222)))))))------------------")
              val mac = wtf.getString("MAC")
              val time = wtf.getString("now_time")
              if(result.contains("MAC")){
                val lastTime = result.get("MAC").get
                allTime+=new Date(time).getTime- new Date(lastTime).getTime
                val hours=(new Date(time).getTime- new Date(lastTime).getTime)/1000/60
                if(hours>2){
                  times+=1
                  result+=("MAC"->time)
                }else{
                  result+=("MAC"->time)
                }
              }else{
                result+=("MAC"->time)
              }
            })
          })
        })
        println("times:----------------------"+times)
        println("times:----------------------"+allTime)
        println("---------------count  times  end------------------")

已有(3)人评论

跳转到指定楼层
o13674976542 发表于 2019-1-4 17:02:43
已解决,解决方法如下:

程序其他部分写的有线程,在配置好hadoop环境后,不在报错且开始执行,原理不清楚
回复

使用道具 举报

yaojiank 发表于 2019-1-4 17:13:15
代码确实看不出什么问题。
回复

使用道具 举报

o13674976542 发表于 2019-1-4 17:21:46
yaojiank 发表于 2019-1-4 17:13
代码确实看不出什么问题。

嗯,代码确实没问题,环境问题,谢谢您
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条