分享

storm数据接入层,大家都用的什么方式?消息队列的话,哪些队列比较好用?

desehawk 发表于 2014-9-9 12:36:31 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 9941
storm数据接入层,大家都用的什么方式?消息队列的话,哪些队列比较好用?
Kafka, zeroQ, metaQ , ...?


已有(1)人评论

跳转到指定楼层
howtodown 发表于 2014-9-9 12:38:54
本帖最后由 howtodown 于 2014-9-9 12:40 编辑
kafka推荐,不过 要懂scala
kafka是一种高吞吐量的分布式发布订阅消息系统,有如下特性:
1. 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
2. 高吞吐量:即使是非常普通的硬件kafka也可以支持每秒数十万的消息。
3. 支持通过kafka服务器和消费机集群来分区消息。
4. 支持Hadoop并行数据加载

大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合

如果不懂scala,可以使用metaq,metaq的缺点,据说不太好部署

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条