Flume Spooldir Source 采集性能低

zxmit · 发表于 2016-9-30 17:17:15

apollo77 发表于 2016-9-30 16:22
这个问题你后来找到解决方案了么。我也遇到这个问题，spooldir是单线程处理的，你后来有什么好的办法么，谢 ...

有一个比较暴力的解决方式，在一个节点上开启多个Agent进行采集，提高性能

apollo77 · 发表于 2016-9-30 17:23:14

zxmit 发表于 2016-9-30 17:17
有一个比较暴力的解决方式，在一个节点上开启多个Agent进行采集，提高性能

用多个agent 然后把日志分多个dir 进行spool？好像目前也就只能用这种方式提高吞吐量了。我的测试数据和你差不多千兆网卡也就17m/s多点，使用mem channel。

zxmit · 发表于 2016-10-1 15:34:13

apollo77 发表于 2016-9-30 17:23
用多个agent 然后把日志分多个dir 进行spool？好像目前也就只能用这种方式提高吞吐量了。我的测试数据和 ...

嗯，是的。正常来说flume作为采集节点，一台机器一个agent，也就是说一采集一台器上的产生的日志数据，正常来说17MB/s够用了。

apollo77 · 发表于 2016-10-8 11:20:29

zxmit 发表于 2016-10-1 15:34
嗯，是的。正常来说flume作为采集节点，一台机器一个agent，也就是说一采集一台器上的产生的日志数据，正 ...

嗯一般需求量是够了，我也是测测当前硬件的最大性能。

babyxingqing · 发表于 2017-3-23 09:56:58

楼主，你好，想问下你这个问题解决了吗，因为我也遇到这个问题，谢谢

zxmit · 发表于 2017-3-23 15:34:57

babyxingqing 发表于 2017-3-23 09:56
楼主，你好，想问下你这个问题解决了吗，因为我也遇到这个问题，谢谢

一个节点，多个Agent

babyxingqing · 发表于 2017-3-26 10:12:07

就是把不同的文件放在不同的spooldir里面，然后创建多个agent来启动吧？不过这样，单个agent速率还是和一样慢，我的最快每分钟才300M

图文精华