搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
Storm
›
关于kafka和zeromq的关系问题
0
2
0
分享
关于kafka和zeromq的关系问题
yepiaochen
发表于 2015-4-18 10:57:35
[显示全部楼层]
阅读模式
关闭右栏
2
52452
About云VIP帮助找工作和提升
如题,在安装storm集群的时候,一般都需要安装zeromq和Jzmq,但是kafka和zeromq的作用看起来差不多,都是用来做mq传输用的,那么他们有什么区别的,我在安装storm+kafka集群的时候可以不安装zeromq吗?有没有什么影响。
求解答。。
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(2)人评论
电梯直达
正序浏览
tntzbzc
发表于 2015-4-18 12:16:59
ZeroMQ
ZeroMQ号称最快的消息队列系统,尤其针对大吞吐量的需求场景。ZMQ能够实现RabbitMQ不擅长的高级/复杂的队列,但是开发人员需要自己组合多种技术框架,技术上的复杂度是对这MQ能够应用成功的挑战。ZeroMQ具有一个独特的非中间件的模式,你不需要安装和运行一个消息服务器或中间件,因为你的应用程序将扮演了这个服务角色。你只需要简单的引用ZeroMQ程序库,可以使用NuGet安装,然后你就可以愉快的在应用程序之间发送消息了。但是ZeroMQ仅提供非持久性的队列,也就是说如果down机,数据将会丢失。其中,Twitter的Storm中默认使用ZeroMQ作为数据流的传输。
Kafka/Jafka
Kafka是Apache下的一个子项目,是一个高性能跨语言分布式Publish/Subscribe消息队列系统,而Jafka是在Kafka之上孵化而来的,即Kafka的一个升级版。具有以下特性:快速持久化,可以在O(1)的系统开销下进行消息持久化;高吞吐,在一台普通的服务器上既可以达到10W/s的吞吐速率;完全的分布式系统,Broker、Producer、Consumer都原生自动支持分布式,自动实现复杂均衡;支持Hadoop数据并行加载,对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka通过Hadoop的并行加载机制来统一了在线和离线的消息处理,这一点也是本课题所研究系统所看重的。Apache Kafka相对于ActiveMQ是一个非常轻量级的消息系统,除了性能非常好之外,还是一个工作良好的分布式系统。
回复
使用道具
举报
显身卡
muyannian
发表于 2015-4-18 12:28:39
ZeroMQ 是storm内部消息传输
消息通过各种方式进入到Kafka消息中间件,在Kafka中路由暂存,然后再由实时计算程序Storm做实时分析。
这里kafka与storm是平级的,他们之间是一个传递的过程,而不是依赖,而ZeroMQ则是storm所依赖的,所以还需要安装ZeroMQ
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
yepiaochen
高级会员
关注
3
主题
114
帖子
4
粉丝
TA的主题
求助:hadoop项目
2015-4-23
关于kafka和zeromq的关系问题
2015-4-18
炼数-数据分析与SPSS(完整)共12周
2015-4-9
24小时热文
数据库系统工程师教程(第4版)
gRPC与云原生应用开发:以Go和Java为例
想来字节技术实习,看我这篇就够了!——保
这些人是如何度过40岁职场危机的
华为:HBase常见问题维护手册V1.0
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈