about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 1461|回复: 4

kafka jdbc connector

[复制链接]

27

主题

6

听众

0

收听

高级会员

Rank: 4

积分
1009
发表于 2018-1-11 15:42:33 | 显示全部楼层 |阅读模式
kafka的jdbc connector可以增量的从一个关系型数据库导出数据到kafka中吗?当数据库中数据全部导完后,如果又新增加数据到数据库中,这时候jdbc connector是否能够将新增的数据导到kafka中?

395

主题

124

听众

120

收听

实习版主

Rank: 7Rank: 7Rank: 7

积分
5111
发表于 2018-1-11 16:08:41 | 显示全部楼层
可以在配置文件*.properties中配置下,模式为incrementing即可。如下
# tasks to create:
name=test-mysql-jdbc-autoincrement
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:mysql://172.24.8.114:3306/connector?user=$USER&password=$PASSWORD
mode=incrementing
incrementing.column.name=fdsid
topic.prefix=test-mysql-jdbc-

欢迎加入about云群425860289432264021 ,云计算爱好者群,关注about云腾讯认证空间

27

主题

6

听众

0

收听

高级会员

Rank: 4

积分
1009
 楼主| 发表于 2018-1-11 16:16:22 | 显示全部楼层
sstutu 发表于 2018-1-11 16:08
可以在配置文件*.properties中配置下,模式为incrementing即可。如下
# tasks to create:
name=test-mysql ...

好的,那connector是怎么知道上一次读到哪了呢,是从config.storage.topic这个topic还是从哪里知道的

395

主题

124

听众

120

收听

实习版主

Rank: 7Rank: 7Rank: 7

积分
5111
发表于 2018-1-11 16:30:25 | 显示全部楼层
zstu 发表于 2018-1-11 16:16
好的,那connector是怎么知道上一次读到哪了呢,是从config.storage.topic这个topic还是从哪里知道的[/ba ...

这个就需要看源码了。猜测其实保存某个点即可。然后读取的时候,读取这个点。
欢迎加入about云群425860289432264021 ,云计算爱好者群,关注about云腾讯认证空间

27

主题

6

听众

0

收听

高级会员

Rank: 4

积分
1009
 楼主| 发表于 2018-1-11 16:40:02 | 显示全部楼层
sstutu 发表于 2018-1-11 16:30
这个就需要看源码了。猜测其实保存某个点即可。然后读取的时候,读取这个点。

你安装的是confluent吧,如果不安装confluent,单纯的使用自定义一个JdbcSourceConnector,然后打包放到到lib中,然后使用> bin/connect-distributed.sh config/connect-distributed.properties来启动connector。这种的可以吗?
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2018-10-20 16:38 , Processed in 0.401809 second(s), 28 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表