分享 在 Kafka内部存在两种默认的分区分配策略
hyj 2019-10-22 11:34
以下内容,来自About云VIP--笑笑分享的分区策略记录: 在 Kafka内部存在两种默认的分区分配策略:Range和 RoundRobin。 Range是默认策略。Range是对每个Topic而言的(即一个Topic一个Topic分),首先对同一个Topic里面的分区按照序号进行排序,并对消费者按照字母顺序进行排序。然后用Partitions分区的个数除以消 ...
970 次阅读|0 个评论
分享 Kafka如何优化JVM GC
s060403072 2019-7-29 21:49
Kafka如何优化JVM GC
1、Kafka的客户端缓冲机制 首先,先得给大家明确一个事情,那就是在客户端发送消息给kafka服务器的时候,一定是有一个内存缓冲机制的。 也就是说,消息会先写入一个内存缓冲中,然后直到多条消息组成了一个Batch,才会一次网络通信把Batch发送过去。 整个过程如下图所示: 2、内存缓冲造成的频繁GC ...
1044 次阅读|0 个评论
分享 kafka分区设计的原则是什么?
pig2 2019-5-23 12:43
很多成员在设计kafka的时候,感觉该如何设计几个分区而发愁? 其实我们要明白kafka分区的目的是为了让数据均衡分区,消费起来更加的均衡。 因此我们设计可以根据机器的个人和数据分类来考虑设计分区。 比如数据有几个类,我们可以设计topic有几个分区。 在我们设计了分区后,如果有充足的机器,我们可以在多设计 ...
1723 次阅读|0 个评论
分享 producer如何发送数据集及副本间是如何复制数据的
阿飞 2019-4-29 18:43
Producer向kafka发送消息的步骤: 1,一条record过来时,首先根据topic向kafka申请这个topic的元数据,包括topic每个partition存储在哪个broker上(Ip地址端口号)。 2,拿到元数据后,根据producer的partioner进行数据分区。默认是hashpartitioner,根据key的hash值分到对应的partition中。如果key为null则轮询发送 ...
754 次阅读|0 个评论
分享 通过代码实现kerberos 认证的 kafka
nettman 2019-1-10 21:03
由于不同的版本不一样,这里总结下相关内容 import org.apache.kafka.clients.CommonClientConfigs; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import java.util.Colle ...
968 次阅读|0 个评论
分享 Kakfa知识总结
yaojiank 2018-11-27 17:28
内容来自about云VIP群 1、kafka是什么 类JMS消息队列,结合JMS中的两种模式,可以有多个消费者主动拉取数据,在JMS中只有点对点模式才有消费者主动拉取数据。 kafka是一个生产-消费模型。 Producer:生产者,只负责数据生产,生产者的代码可以集成到任务系统中。 数据的分发策略由prod ...
1264 次阅读|0 个评论
分享 kafka启动producer报错:Error while fetching metadata with correlation id  ..
Aningorg 2018-9-13 09:13
kafka启动producer报错:Error while fetching metadata with correlation id  ..
执行: bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test kafka出现: Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE} 表示无法识别 kafka hostname 处理方式: 1、修改server.properties如下,目的是让 ...
2684 次阅读|0 个评论
分享 spark读取kafka为什么这么慢
sstutu 2018-9-2 13:09
sparkstreaming2.3, kafka消息处理慢,进行全流程打点,发现消息创建的时间和streaming中开始处理的时间相差比较大,处理过程很快,随着streaming运行时间增长,消息拉取越来越慢,加大cpu 内存都不起作用。 qq群里老铁遇到这么个问题,而且很多遇到了,这里说下,遇到问题,首先要做的是分析日志,然后分析源码。 ...
2379 次阅读|0 个评论
分享 Kafka 2.0.0版本新增改变了哪些功能详细
admin 2018-8-2 17:47
问题导读 1.offset保留时间默认原先从一天改为几天时间? 2.https是哪个参数的值? 3.统计kafka2.0中修改了哪些属性? 原文链接 http://www.aboutyun.com/forum.php?mod=viewthreadtid=24981 获取最新文章,学习资源,可以关注公众号 1. KIP-186 将默认offset保留时间从1天增加到7 ...
1808 次阅读|0 个评论
分享 kafka sql详解
admin 2018-7-16 16:15
问题导读 1.kafka sql与数据库sql有哪些区别? 2.KSQL有什么作用? 3. KSQL流和表分别什么情况下使用? KSQL,一个用于Apache Kafka流的SQL 引擎。 KSQL降低了流处理的入口,提供了一个简单而完整的交互式SQL接口,用于处理Kafka中的数据。 不再需要编写Java或Python代码! KSQL是开源的(Apach ...
1854 次阅读|0 个评论
关闭

推荐上一条 /2 下一条