flume1.8是否可以解决多级目录检索

yaojiank · 发表于 2018-12-14 12:11:05

wx_iF3i37z7 发表于 2018-12-14 11:31
还有就是类型为spooldir的不能监听多级目录是吗？刚刚尝试了一下spooldir只能监听配置目录

可以监听多目录及子目录，配置注意权限问题。
出现的错误太单一，看不出什么问题。在找找其他错误。去看下Flume的日志文件。

wx_iF3i37z7 · 发表于 2018-12-14 16:43:36

s060403072 发表于 2018-12-13 11:22
可以监听多级目录的

您好，上个问题我已经解决了，但是在linux环境下不管是spooldir还是taildir都不能监听多级目录，只能监听配置目录下面的文件，请问是缺少了什么配置吗？

wx_iF3i37z7 · 发表于 2018-12-14 16:51:51

yaojiank 发表于 2018-12-14 12:11
可以监听多目录及子目录，配置注意权限问题。
出现的错误太单一，看不出什么问题。在找找其他错误。去看 ...

您好，在linux环境下不管是spooldir还是taildir都不能监听多级目录，且监听的目录及子目录所有者都为操作的用户，但是依然只能监听配置目录下面的文件，请问是缺少了什么配置吗？

s060403072 · 发表于 2018-12-14 21:12:17

wx_iF3i37z7 发表于 2018-12-14 16:51
您好，在linux环境下不管是spooldir还是taildir都不能监听多级目录，且监听的目录及子目录所有者都为操作 ...

在目录的下面确定监控文件的格式。比如监控aboutyunlog的带有log格式的所有文件。
a1.sources.source1.filegroups.f1 = /data/aboutyunlog/.*log.*

wx_rLynkyG4 · 发表于 2018-12-18 15:52:29

s060403072 发表于 2018-12-14 21:12
在目录的下面确定监控文件的格式。比如监控aboutyunlog的带有log格式的所有文件。
a1.sources.source1.f ...

必须要指定一种格式吗？像这种监听所有文件的就不能监听多级目录吗？

yaojiank · 发表于 2018-12-18 22:02:19

wx_rLynkyG4 发表于 2018-12-18 15:52
必须要指定一种格式吗？像这种监听所有文件的就不能监听多级目录吗？

多尝试，对于日志文件来讲，一般都是格式固定的，不会出现多个格式。
这是官网给的例子

a1.sources = r1
a1.channels = c1
a1.sources.r1.type = TAILDIR
a1.sources.r1.channels = c1
a1.sources.r1.positionFile = /var/log/flume/taildir_position.json
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /var/log/test1/example.log
a1.sources.r1.headers.f1.headerKey1 = value1
a1.sources.r1.filegroups.f2 = /var/log/test2/.*log.*
a1.sources.r1.headers.f2.headerKey1 = value2
a1.sources.r1.headers.f2.headerKey2 = value2-2
a1.sources.r1.fileHeader = true

对于你所说的其它的格式，自己可以多尝试。
另外给楼主的建议
1.多看官网
比如window下不支持多级监控，官网已经明确表示

2.多实践
楼主在提问的同时，一个小测验就能测出来。