搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
Storm
›
storm 并行度总结,欢迎交流
0
2
0
分享
storm 并行度总结,欢迎交流
hyj
发表于 2015-8-23 15:53:16
[显示全部楼层]
阅读模式
关闭右栏
2
12014
About云VIP帮助找工作和提升
1个worker进程执行的是1个topology的子集(注:不会出现1个worker为多个topology服务)。1个worker进程会启动1个或多个executor线程来执行1个topology的component(spout或bolt)。因此,1个运行中的topology就是由集群中多台物理机上的多个worker进程组成的。
executor是1个被worker进程启动的单独线程。每个executor只会运行1个topology的1个component(spout或bolt)的task(注:task可以是1个或多个,storm默认是1个component只生成1个task,executor线程里会在每次循环里顺序调用所有task实例)。
task是最终运行spout或bolt中代码的单元(注:1个task即为spout或bolt的1个实例,executor线程在执行期间会调用该task的nextTuple或execute方法)。topology启动后,1个component(spout或bolt)的task数目是固定不变的,但该component使用的executor线程数可以动态调整(例如:1个executor线程可以执行该component的1个或多个task实例)。这意味着,对于1个component存在这样的条件:#threads<=#tasks(即:线程数小于等于task数目)。默认情况下task的数目等于executor线程数目,即1个executor线程只运行1个task。
默认情况下,一个supervisor节点会启动4个worker进程。每个worker进程会启动1个executor,每个executor启动1个task。
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(2)人评论
电梯直达
正序浏览
邓立辉
发表于 2015-10-20 12:13:51
请问,用trident时,做groupby的时候,数据多了就不执行了,日志也没报错,尝试修改配置文件中相关的buff、size相关的配置也不行。
回复
使用道具
举报
显身卡
smartleon
发表于 2017-8-17 20:43:59
关于kafkaSpout的并行度的设置有什么建议没有?我topic的分区数是3,开始给设置的并行度为1,24小时运行不停机的话基本够用(数据没有延迟处理),但随着topic里的数据越来越多(来源数据增多,我用flume收集的,flume的收集速度应该比kafkaspout的处理速度快一点),如果stom的topoloy中间停5分钟的话,会导致这个时间差永远追不回来?不知道改如何设置。
我搜索的解决方式是:将kafkaspout的并行度设置为topic的分区数,也就是3,我这样设置了一下,结果UI界面显示的faile的数据量猛增(设置1的情况下,基本不会有失败)
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
hyj
超级版主
关注
1689
主题
2216
帖子
467
粉丝
TA的主题
ChatGPT上线了IOS app,很给力
2023-5-19
About云2023年05月19日每日一读
2023-5-19
数澜科技数据中台项目规范-V1.0.0
2023-5-18
现代数据架构
2023-5-18
12 个真正重要的数据质量指标
2023-5-18
24小时热文
2024年求职攻略:掌握这4个习惯,迅速斩获
代码精进之路:从码农到工匠
eclipse搭建hadoop-3.1.2所需插件
2023年2月名企最新内推
数据库系统工程师教程(第4版)
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈