flume-ng如何对按小时滚动日志进行实时监控?

hyj · 发表于 2014-7-19 14:22:27

shadowhtx 发表于 2014-7-19 14:19
你好，我现在找到了一个插件能够对目录下多个追加文件和添加文件进行监控，应该是结合了exec和spool方法 ...

被墙了，看不到。

sunny62520 · 发表于 2014-7-20 23:23:27

hyj 发表于 2014-7-19 14:22
被墙了，看不到。

sources监控的目录的子目录可以监控到吗？

shadowhtx · 发表于 2014-7-21 19:01:51

不好意思，回复晚了，这个我没测试，应该是好改的。目前还是对log4j按时生成的日志还是没法实现实时监控，问题在于log4j生成日志的过程不太明白，不知道原有文件有没有经过删除的过程，新生成的日期后缀的名字为啥打不开呢？

shadowhtx · 发表于 2014-7-21 19:03:07

sunny62520 发表于 2014-7-20 23:23
sources监控的目录的子目录可以监控到吗？

用的是这个插件吗？log4j日志方法有测试吗？

pig2 · 发表于 2014-7-23 15:41:45

sunny62520 发表于 2014-7-20 23:23
sources监控的目录的子目录可以监控到吗？

pig2 · 发表于 2014-7-23 15:42:20

shadowhtx 发表于 2014-7-21 19:01
不好意思，回复晚了，这个我没测试，应该是好改的。目前还是对log4j按时生成的日志还是没法实现实时监控， ...

是在Linux里面？cat一下看看

semion · 发表于 2014-9-5 17:00:37

shadowhtx 发表于 2014-7-19 14:19
你好，我现在找到了一个插件能够对目录下多个追加文件和添加文件进行监控，应该是结合了exec和spool方法 ...

我也遇到类似问题，想监控一个一直目录下文件变化的文件，你这个插件可以共享一下吗？

semion · 发表于 2014-9-5 17:11:58

hyj 发表于 2014-7-17 15:39
你最好把产生日志目录与flume监控目录分开，二者不要混肴了这一小时产生日志文件之后，你在通过其它方式， ...

你或的其他方式具体是指什么方式，可以把log4j的日志生成完之后拷贝到监控目录下吗？

shadowhtx · 发表于 2014-9-10 11:35:51

semion 发表于 2014-9-5 17:11
你或的其他方式具体是指什么方式，可以把log4j的日志生成完之后拷贝到监控目录下吗？

意思是log4j日志按分钟生成后，再放入spooldir目录中。不过我还是坚持实时监控（log4j本身的日志文件），需要自己修改源码，写个插件。

EASONLIU · 发表于 2014-12-16 22:37:05

学习了~~~~~~~~

图文精华