分享

当流量增大的情况下,Flume提示警告信息问题

J20_果农 发表于 2017-4-7 10:03:32 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 19672
本帖最后由 J20_果农 于 2017-4-7 10:05 编辑

环境:
单节点:32G内存,一个agent

使用flume日志采集实时生成的日志文件信息时,在某个流量高峰时间段(一个小时产生7G-10G文件大小),flume控制台会提示这样的警告信息。
请问这些警告信息一般是什么原因造成的?需要做哪些调整?
2017-04-07 09:28:06,213 (PollableSourceRunner-TaildirSource-s1) [WARN - org.apache.flume.source.taildir.TaildirSource.tailFileProcess(TaildirSource.java:266)] The channel is full or unexpected failure. The source will try again after 1000 ms
2017-04-07 09:38:19,798 (PollableSourceRunner-TaildirSource-s1) [WARN - org.apache.flume.source.taildir.TaildirSource.tailFileProcess(TaildirSource.java:266)] The channel is full or unexpected failure. The source will try again after 1000 ms
2017-04-07 09:41:15,258 (PollableSourceRunner-TaildirSource-s1) [WARN - org.apache.flume.source.taildir.TaildirSource.tailFileProcess(TaildirSource.java:266)] The channel is full or unexpected failure. The source will try again after 1000 ms


已有(2)人评论

跳转到指定楼层
哈根达斯 发表于 2017-4-7 11:03:17
直接是由于当前的被采集文件过大导致。增大keep-alive的值。深层原因应该是文件采集速度和sink速度没有匹配好导致
回复

使用道具 举报

langke93 发表于 2017-4-7 13:56:30
本帖最后由 langke93 于 2017-4-7 13:57 编辑

两种办法:
第一种:
增大batchSize,需要注意:batchSize不能小于transactionCapacity。也就是说如果二者相同,必须同时调整
第二种
增加 sinks
推荐第一种:
楼主调整参数,然后在看下。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条