flume退出参数问题

现象：sink是kafka,有时候人为的停止kafka服务，导致各个flume端报错，当启动kafka，flume可以正常恢复，但长时间不启动kafka（N小时），flume可能自动退出，具体合适时间未知，找了很久也没找到可以控制退出的参数。
请问有那些参数可以控制flume发送失败后的自动退出？

hello2018 · 发表于 2018-4-2 12:28:18

sink关闭，channel就爆了。退出正常的。属于flume崩溃了吧。崩溃了还不让他退出。怎么会有参数。
sink关闭，flume就应该对应关闭。

evababy · 发表于 2018-4-2 13:45:04

hello2018 发表于 2018-4-2 12:28
sink关闭，channel就爆了。退出正常的。属于flume崩溃了吧。崩溃了还不让他退出。怎么会有参数。
sink关闭 ...

channel有数量控制，怎么可能爆，我这测试3 5个小时内启动sink都没问题，继续接受当前最新的数据。

evababy · 发表于 2018-4-2 13:48:08

发现新情况：所有节点 flume配置完全一致，停掉sink，各节点的flume报出来的错误还不一致。。。。怎么觉得错误应该是一样的啊。
存在两种提示如下
1、“Caused by: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.”
2、“Caused by: org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition.”

evababy · 发表于 2018-4-2 16:25:59

本帖最后由 evababy 于 2018-4-2 17:06 编辑

拦截器测试效果也不佳，只测通了正则拦截,说是吧信息加到header中了，去哪里能看到呢。。。

i1:增加时间戳（未成功）
i2:增加机器标示（未成功）
i3:增加自定义属性（未成功）
i4:增加UUID（未成功）
i5:正则过滤
i6:正则分组（未成功）

[mw_shl_code=shell,true]r1.sources.source1.interceptors=i1 i2 i3 i4 i5 i6
r1.sources.source1.interceptors.i1.type=timestamp
r1.sources.source1.interceptors.i2.type=host
r1.sources.source1.interceptors.i3.type=static
r1.sources.source1.interceptors.i3.key=key1
r1.sources.source1.interceptors.i3.value=value1
r1.sources.source1.interceptors.i4.type=org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder
r1.sources.source1.interceptors.i5.type=regex_filter
r1.sources.source1.interceptors.i5.regex=^.*time=[0-9]+s.*$
r1.sources.source1.interceptors.i6.type=regex_extractor
r1.sources.source1.interceptors.i6.regex=(\\d+):(\\d+):(\\d+)
r1.sources.source1.interceptors.i6.serializers=s1 s2 s3
r1.sources.source1.interceptors.i6.serializers.s1.name=HH
r1.sources.source1.interceptors.i6.serializers.s2.name=MM
r1.sources.source1.interceptors.i6.serializers.s3.name=ss[/mw_shl_code]