图文精华

About云-梭伦科技»专题 › 交流区 › 技术交流 › Storm › 疑问解答› 在stormspout的任务开多了会不会影响接收kafka数据呢
分享

在stormspout的任务开多了会不会影响接收kafka数据呢

howtodown 2014-9-15 14:32:08 发表于 疑问解答 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 9840
About云VIP帮助找工作和提升
在storm端接受kafka数据时，采用的高级的consumer api，就是通过groupid来接收kafka中的数据
如果我spout的任务开多了会不会影响接收kafka数据呢，毕竟多个任务都是用的同一个kafka groupid
关注公众号，获取大数据、人工智能20套、区块链资源5阶段等资源，随时更新，获取最新技术资源
回复

使用道具 举报

自定义广告语

已有(2)人评论

跳转到指定楼层
正序浏览
sstutu 发表于 2014-9-15 14:32:47
spout能够接收数据的excutor个数，是由kafka replication的个数决定的
比如你kafka中有两个replication，而在提交topo的时候设置 spout的worknum=5，则你会发现，其中有3个excutor不会接收数据
回复

使用道具 举报

nettman 发表于 2014-9-15 14:36:02
好像partition有关系
比如说我分了3个partition，我就只能启动3个spout
或者说我启动多了就没有意义了
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
howtodown

版主

关注

  • 666

    主题

  • 1249

    帖子

  • 321

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000