Flume-ng如何实现监控一个文件变化的目录？

本帖最后由 semion 于 2014-9-5 16:49 编辑

现在想获取应用的日志，监控一个目录，但是这个目录中的文件会一直变化，flume监控的目录下的文件不允许编辑，有什么办法实现？或者换用其他数据源? 现在使用直接存文件的方式存储日志，没有使用hdfs方式怎么实现按时间分不同目录存储日志？

yadi001zb · 发表于 2014-9-11 09:24:17

pig2 发表于 2014-9-9 19:43
不能解决，你的想法目前flume还没有解决方案。
现在传数据的方式是，从产生数据的目录里面拽文件，这时候 ...

这里有一个问题。如果你把已经整理好的日志文件，拷贝到flume的监控的目录下，由于日志文件较大，可能拷贝要10秒钟，但这时候正好flume对这个文件进行处理了。那flume就报错了。。这个问题，你说应该如何才能解决？？？？

pig2 · 发表于 2014-9-5 17:48:28

如果你把新文件传递到flume监控目录，flume会自动发现这个文件，并且上传。
如果你对一个已经正在上传的文件追加，可能会产生问题。
对于分目录监控，flume已经实现。可以参考
Flume-ng-1.3.0 spooling source的方式增加了对目录的递归检测的支持

semion · 发表于 2014-9-9 08:51:09

pig2 发表于 2014-9-5 17:48
如果你把新文件传递到flume监控目录，flume会自动发现这个文件，并且上传。
如果你对一个已经正在上传的文 ...

你说的实现是指flume的实现还是说需要修改flume的源码？我刚开始接触我用的1.5的版本会不会有影响？

pig2 · 发表于 2014-9-9 09:21:25

semion 发表于 2014-9-9 08:51
你说的实现是指flume的实现还是说需要修改flume的源码？我刚开始接触我用的1.5的版本会不会有影响？

不需要修改源码
这些里面flume对于监控目录的文件会自动上传，并且对于正在上传的这个文件会被重命名。所以你在追加内容，可能会产生问题。

semion · 发表于 2014-9-9 19:30:55

pig2 发表于 2014-9-9 09:21
不需要修改源码
这些里面flume对于监控目录的文件会自动上传，并且对于正在上传的这个文件会被重命名。所 ...

我的意思是监控的目录下的日志文件一直在往里面写，而且存在子目录的这种情况怎么，用你发的那个插件可以解决吗？

pig2 · 发表于 2014-9-9 19:43:45

semion 发表于 2014-9-9 19:30
我的意思是监控的目录下的日志文件一直在往里面写，而且存在子目录的这种情况怎么，用你发的那个插件可以 ...

不能解决，你的想法目前flume还没有解决方案。
现在传数据的方式是，从产生数据的目录里面拽文件，这时候这个文件已经不能在追加内容。不知你现在能否明白我的意思了。
产生数据的目录和监控目录是两码事。你为什么非要在追加之后，然后就上传那么一点点的内容。这样会产生大量的小文件。
并且你监控目录你的想法是只搞那么一个文件。

你的想法太多，但是基础不牢。
建议先从基本的flume搭建开始。然后在慢慢了解。