Flume-ng如何实现监控一个文件变化的目录？

yadi001zb 发表于 2014-9-11 13:43
你的意思是说。。我得用linux的copy机制，就不会有这样的问题了是吧。。。有可能是这样，因为之前我都是 ...

ftp没有试过，使用复制应该没有这方面的问题。

对于这种日志文件是动态追加的情况，flume采用什么方式可以支持呢

wkf46525 发表于 2014-9-20 15:05
对于这种日志文件是动态追加的情况，flume采用什么方式可以支持呢

source.type = exec
source.command = tail -f xxxx.log

这种方式能满足你的需求？

我已经找到一个好的解决方法了 有一个第三方的插件已经实现了动态监控一个日志文件，实现思路是监控日志文件的最后修改时间，设定一个时间间隔，如果这个文件在一个小时不再修改，则开始同步该日志文件，但是遗憾的是他们有实现迭代文件夹的迭代，我根据论坛的一个帖子最后整理出了这块的代码，作为一个jar包 作为插件就可以实现 动态监控一个日志文件，以及多目录的迭代问题，需要的可以发私信给我

copy如果文件比较大的话也会有问题 我测试过 监控变化文件最好自定义source

spool 不是可以监控目录吗

semion 发表于 2014-10-2 16:27
我已经找到一个好的解决方法了 有一个第三方的插件已经实现了动态监控一个日志文件，实现思路是监控日志文 ...

麻烦给我发一份呗谢谢 邮箱：1753684005@qq.com

pig2 发表于 2014-9-9 09:21
不需要修改源码
这些里面flume对于监控目录的文件会自动上传，并且对于正在上传的这个文件会被重命名。所 ...

这里的传，是手动的将文件从生成目录传到监控目录中吗？

vanking 发表于 2015-1-22 16:29
麻烦给我发一份呗谢谢 邮箱：

已发送 。。。。。。

yadi001zb 发表于 2014-9-11 09:24
这里有一个问题。如果你把已经整理好的日志文件，拷贝到flume的监控的目录 下，由于日志文件较大，可能拷 ...

哥们，大文件拷贝（mv，cp， scp等）到监控目录，确实出现了exception，请问你最后怎么解决的？？（Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.）