求助 flume 日志堆积问题

在大量日志情况下 flume收集日志跟不上处理日志的速度 就会造成日志堆积
C:\Users\hadoop\Desktop
需求： 我这里是有一个工具 会每10秒检测这个/home/gag/log 目录下 有没有新的日志文件产生 有就将日志移动到/home/gag/log/flume 文件下 在大量日志情况下 flume处理日志的速度完全跟不上产生日志的速度 所以日志堆积的越来越多  怎么解决这个问题

C:\Users\hadoop\Desktop

请叫我野区养猪 发表于 2015-9-9 20:25
数据产生的频率非常高   现在日志量非常庞大 导致flume的处理完全跟不上  造成了日志堆积  
这个flume是 ...

多配置几个chennel也行



楼主的模式应该类似这种把

这个是配置文件

分析一下：看你的配置文件，flume作为一个数据采集器，将采集到的数据发送出去。
首先，数据产生的速率是不是很高，导致采集时出现问题
是不是网络瓶颈： sink端数据发送速率较低，试着把sink类型改为null，看还会不会有日志数据堆积

flume有按时间，大小，文件滚动。
楼主选择一个合适的方式，然后让它滚动快一些

zxmit 发表于 2015-9-9 19:22
分析一下：看你的配置文件，flume作为一个数据采集器，将采集到的数据发送出去。
首先，数据产生的速率是 ...

每10秒检测log下有没有日志 有就将日志挪到flume下面去 所以flume的处理速度跟不上日志产生的速度

请叫我野区养猪 发表于 2015-9-9 20:23
每10秒检测log下有没有日志 有就将日志挪到flume下面去 所以flume的处理速度跟不上日志产生的速度

什么系统这么快，多按照几个客户端

zxmit 发表于 2015-9-9 19:22
分析一下：看你的配置文件，flume作为一个数据采集器，将采集到的数据发送出去。
首先，数据产生的速率是 ...

数据产生的频率非常高   现在日志量非常庞大 导致flume的处理完全跟不上  造成了日志堆积  
这个flume是客户端 它采集数据 将数据发送到服务端  主要做一个数据采集的功能

tntzbzc 发表于 2015-9-9 20:25
什么系统这么快，多按照几个客户端

我们这里有很多台flume的客户端 不止这一个 并且目前每个客户端都要收集不同的日志

请叫我野区养猪 发表于 2015-9-9 20:27
我们这里有很多台flume的客户端 不止这一个 并且目前每个客户端都要收集不同的日志

flume可以有N个，日志多就分散些，多几个台承担。

就像水很多，抽水机就那么几台。
要么找高性能的抽水机，要么增加数量。
其它的日志搜集flume应该算是不错的。
因此增加客户端，或则把日志能分开也可以分开。