求助 flume 日志堆积问题

都讨论讨论啊

zxmit 发表于 2015-9-9 19:22
分析一下：看你的配置文件，flume作为一个数据采集器，将采集到的数据发送出去。
首先，数据产生的速率是 ...

sink 设置为空？
Discards all events it receives from the channel. Required properties are in bold 这是官网给的解释 丢弃所有的事件，从信道接收。所需属性是以黑体。属性名为默认的描述通道类型的组件类型名称，需要为空
但是翻译之后 还是不怎么懂 并且 设置为null 代表什么含义？

求助各位版主 ！！！

@pig 求助~

10秒移动，是否会产生大量小文件。
为何如此的频繁。

muyannian 发表于 2015-9-10 15:19
10秒移动，是否会产生大量小文件。
为何如此的频繁。

目前是 需要解决  flume碰到死循环日志 造成的日志堆积 所以不会出现小文件  
现在上面提出来的 要解决 如果日志在死循环的情况下 flume堆积大量的日志
所以现在做了一个死循环日志  不停的输出日志  但是flume的工作能力是有限的 它发送的速度没有收集的快

请叫我野区养猪 发表于 2015-9-10 10:36
sink 设置为空？
Discards all events it receives from the channel. Required properties are in bold ...

设置为空只是为了确定是否是因为网络瓶颈导致数据堆积

请叫我野区养猪 发表于 2015-9-10 16:45
目前是 需要解决  flume碰到死循环日志 造成的日志堆积 所以不会出现小文件  
现在上面提出来的 要解决  ...

死循环日志？！ 感觉很不科学，程序里面既然会出现死循环的情况，日志级别定义为DEBUG应该比较合理

参考下kafka

由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用apache的kafka


用这个框架
大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合
http://www.aboutyun.com/thread-6855-1-1.html