立即注册 登录
About云-梭伦科技 返回首页

加米谷大数据的个人空间 https://www.aboutyun.com/?67792 [收藏] [复制] [分享] [RSS]

日志

加米谷大数据:3--使用场景--kafka0.10.x

已有 883 次阅读2018-3-25 18:13 |个人分类:Kafka| 大数据, 数据分析与挖掘, 人工智能, 加米谷大数据, 成都大数据培训

Kafka的使用场景
领取大数据开发、大数据挖掘分析、Python人工智能等试听资料,可上加米谷大数据官网(http://www.dtinone.com/)咨询领取或者加入加米谷大数据技术交流群领取:234648425
下面是一些关于Apache kafka 流行的使用场景。这些领域的概述,可查看博客文章
消息
kafka更好的替换传统的消息系统,消息系统被用于各种场景(解耦数据生产者,缓存未处理的消息,等),与大多数消息系统比较,kafka有更好的吞吐量,内置分区,副本和故障转移,这有利于处理大规模的消息。
根据我们的经验,消息往往用于较低的吞吐量,但需要低的端到端延迟,并需要提供强大的耐用性的保证。
在这一领域的kafka比得上传统的消息系统,如的ActiveMQRabbitMQ的。
网站活动追踪
kafka原本的使用场景:用户的活动追踪,网站的活动(网页游览,搜索或其他用户的操作信息)发布到不同的话题中心,这些消息可实时处理,实时监测,也可加载到Hadoop或离线处理数据仓库。
每个用户页面视图都会产生非常高的量。
指标
kafka也常常用于监测数据。分布式应用程序生成的统计数据集中聚合。
日志聚合
使用kafka代替一个日志聚合的解决方案。
流处理
kafka消息处理包含多个阶段。其中原始输入数据是从kafka主题消费的,然后汇总,丰富,或者以其他的方式处理转化为新主题,例如,一个推荐新闻文章,文章内容可能从“articles”主题获取;然后进一步处理内容,得到一个处理后的新内容,最后推荐给用户。这种处理是基于单个主题的实时数据流。从0.10.0.0开始,轻量,但功能强大的流处理,就进行这样的数据处理了。
除了Kafka Streams,还有Apache Storm和Apache Samza可选择。
事件采集
事件采集是一种应用程序的设计风格,其中状态的变化根据时间的顺序记录下来,kafka支持这种非常大的存储日志数据的场景。
提交日志
kafka可以作为一种分布式的外部提交日志,日志帮助节点之间复制数据,并作为失败的节点来恢复数据重新同步,kafka的日志压缩功能很好的支持这种用法,这种用法类似于Apacha BookKeeper项目。

领取大数据开发、大数据挖掘分析、Python人工智能等试听资料,可上加米谷大数据官网(http://www.dtinone.com/)咨询领取或者加入加米谷大数据技术交流群领取:234648425

路过

雷人

握手

鲜花

鸡蛋

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条