分享

【疑问】local有效 集群无效。sprakStream 实时监控hdfs文件增量获取不到数据

feigee 发表于 2017-3-13 15:46:51 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 2 7420
[mw_shl_code=bash,true]nohup spark-submit --class 'WordCount'  --master local[2]  --name 'localTest' sparkdemo-1.0-SNAPSHOT.jar > logs/aaa.log &[/mw_shl_code]
本地执行 master为 local 可以获取内容并output


[mw_shl_code=bash,true]nohup spark-submit --class WordCount --master spark://master1.yaofei:8081 --executor-cores 2 sparkdemo-1.0-SNAPSHOT.jar > logs/aaa.log &[/mw_shl_code]
集群环境执行 master 为 spark://master1.yaofei:8081 只能监测到文件新增,但不能获取内容,有个warn:initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources,有大神知道可能是什么原因吗?或者是我spark-submit 的脚本有什么问题吗?
         相关参考链接:  利用SparkStreaming监控hdfs目录,实现实时wordCount计算   基于HDFS的SparkStreaming案例实战和内幕源码解密(http://www.cnblogs.com/sparkbigdata/p/5433281.html)   

本地local[2]执行时日志

本地local[2]执行时日志

spark集群

spark集群

已有(2)人评论

跳转到指定楼层
nextuser 发表于 2017-3-13 16:43:36
具体需要看源码。
楼主是自己写的吧。
端口为何是8081,最好采用规定端口
回复

使用道具 举报

feigee 发表于 2017-3-13 16:44:49
解决了,谢谢。这个论坛资源还是很多的。参考链接spark运行打包的jar程序,遇到接受不到任务资源的问题
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条