kafka权威指南 第四章 第5节:提交和偏移量

查看数: 28646 | 评论数: 3 | 收藏 4
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2017-6-30 07:33

正文摘要:

本帖最后由 feilong 于 2017-6-30 08:16 编辑 问题导读 1.什么是一次提交(commit)?2.什么是偏移量(offset)?3.消费者如何提交偏移量?4.KafkaConsumer API 提供的提交偏移量的方法有哪些?5.commitSync()方 ...

回复

redhat1986 发表于 2017-7-2 11:47:26
Properties props = new Properties();
             props.put("bootstrap.servers", "node1:9092");
             props.put("group.id", "tests");
             props.put("enable.auto.commit", "true");
             props.put("auto.commit.interval.ms", "1000");
             props.put("session.timeout.ms", "30000");
             props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
             props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
             KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
             consumer.subscribe(Arrays.asList("tests"));
             while (true) {
                 ConsumerRecords<String, String> records = consumer.poll(100);
                 for (ConsumerRecord<String, String> record : records)
                     System.out.printf("offset = %d, key = %s, value = %s", record.offset(), record.key(), record.value());
             }

一直读不到数据是什么情况?写的生产者可以往kafka里写数据,但是消费不了数据,代码不报错。请大家分析分析原因。
美丽天空 发表于 2017-7-1 11:40:43
感谢分享
lynglyn 发表于 2017-6-30 11:17:14
工作年限:三年以上
学历要求:本科
期望层级:P7
岗位描述:
1)从事前沿人工智能的新一代风控智能引擎搭建,为互联网金融各类传统、创新业务保驾护航;
2)运用海量数据,以数据为驱动,提供实时、智能、个性化的风控解决方案,以满足高性能、可扩展、高可靠的要求;
3)深入理解风控领域的业务,实际参与并主导风控智能引擎的规划、架构、设计和研发,能够推动智能引擎的落地实施,并保证项目进度和质量要求。
岗位要求:
1)计算机、电子信息工程等相关专业背景,本科及以上学历,3年以上Java研发经验;
2)熟悉spark等大数据相关技术,并至少具备2年以上大数据应用开发经验,对机器学习有经验者优先;
3)有扎实的Java基础, 熟练掌握jvm机制、多线程、常用容器、反射等基础知识;
4)熟练掌握Spring、Ibatis、缓存、消息等主流JAVA框架及原理,有分布式系统或者实时计算引擎的设计及项目经验,并能完成相应系统的设计和研发;
5)具有良好的学习能力、沟通技能和团队合作能力,热爱技术,有责任心。

工作地:成都
联系邮箱:shijie.gsj@alibaba-inc.com
有意愿的同学,发简历到邮箱,谢谢!
关闭

推荐上一条 /2 下一条