about云开发-活到老 学到老

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 1676|回复: 3

[疑问解答] kafka+SparkStreaming任务不断提交,却一直阻塞,求解答

[复制链接]

10

主题

4

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
277
发表于 2018-5-13 18:19:41 | 显示全部楼层 |阅读模式
本帖最后由 星语心愿 于 2018-5-13 18:21 编辑

kafka+SparkStreaming使用direct方式接受数据,首先启动kafka的Producer发送数据,然后启动SparkStreaming,使用 KafkaUtils.createDirectStream 拉取数据并创建 JavaInputDStream。在任务启动后,日志打印如下
2018-05-13_181615.png
任务在不断的提交,查看Spark UI,界面如下
2018-05-13_181748.png
发现第一个任务一直在运行,之后的任务一直在阻塞等待,请问这个是怎么回事?哪里出现了问题

67

主题

34

听众

33

收听

版主

Rank: 7Rank: 7Rank: 7

积分
907
发表于 2018-5-13 21:06:09 | 显示全部楼层
以前是否跑过任务,是什么情况。
猜测资源不够了,导致排队。

10

主题

4

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
277
 楼主| 发表于 2018-5-14 08:56:25 | 显示全部楼层
阿飞 发表于 2018-5-13 21:06
以前是否跑过任务,是什么情况。
猜测资源不够了,导致排队。

以前跑任务是正常的,昨天再次跑的时候就出现了这种情况

171

主题

33

听众

36

收听

高级会员

Rank: 4

积分
3969

最佳新人活跃会员热心会员

发表于 2018-5-14 09:37:47 | 显示全部楼层
星语心愿 发表于 2018-5-14 08:56
以前跑任务是正常的,昨天再次跑的时候就出现了这种情况

如果这样的话,是否有其它任务,是否资源充足。这些都没有问题。就是代码的问题了。
欢迎加入about云群425860289432264021 ,云计算爱好者群,关注about云腾讯认证空间
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

QQ|小黑屋|about云开发-学问论坛|社区-大数据云技术学习分享平台 ( 京ICP备12023829号

GMT+8, 2018-8-19 04:01 , Processed in 0.389444 second(s), 32 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表