分享

【Flume】flume文件监控的source组件开发,增量传输文件内容,支持断点续传功能

bob007 2015-6-16 01:14:50 发表于 小知识点 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 27201
基于flume-ng中原有exec的source类型,通过tail依赖于操作系统去监听文件内容变化,其次,不支持断点续传的功能,特此,自行开发了一个组件,大家可以看看,一起探讨:
https://github.com/cwtree/flume-filemonitor-source

该组件特点如下:
1、一个source对应一个文件监控
2、实时监控文件变化
3、增量传输文件内容
4、支持断点续传功能,即使flume进程挂掉,下一次重启仍然可以继续接着上次断开的地方传输
5、能自动判断是否log文件滚动了(前提,必须做好flume进程的监控,监控到进程不在了,要立即进行重启)
只需如下配置即可:
[mw_shl_code=bash,true]a1.sources.r1.type=org.apache.flume.chiwei.filemonitor.FileMonitorSource
a1.sources.r1.channels=c1
a1.sources.r1.file=/home/flume/example/file/bizlogic.log
a1.sources.r1.positionDir=/home/flume[/mw_shl_code]
望各位不吝指教!

已有(2)人评论

跳转到指定楼层
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条