请教各位 flume采集到的日志数据上传到hdfs上为什么会生成这么多小文件？

下面是我的配置
agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1


#配置source1
agent1.sources.source1.type=syslogudp
agent1.sources.source1.host=10.0.118.208
agent1.sources.source1.port=5140
agent1.sources.source1.channels=channel1

#配置sink1
agent1.sinks.sink1.type=hdfs
agent1.sinks.sink1.hdfs.path=hdfs://h1:8020/user/flume
agent1.sinks.sink1.hdfs.fileType=DataStream
agent1.sinks.sink1.hdfs.writeFormat=Text
agent1.sinks.sink1.channel=channel1
agent1.sinks.sink1.hdfs.round=true
agent1.sinks.sink1.hdfs.roundValue=4
agent1.sinks.sink1.hdfs.roundUnit=hour
agent1.sinks.sink1.hdfs.rollInterval=0
agent1.sinks.sink1.hdfs.rollSize=0
agent1.sinks.sink1.hdfs.rollCount=0

#配置channel1
agent1.channels.channel1.type=memory
agent1.channels.channel1.capacity=1000
agent1.channels.channel1.transactionCapacity=1000
agent1.channels.channel1.byteCapacityBufferPercentage=20
agent1.channels,channel1.byteCapacity=800000

每当有信息发过来的时候 就会生成一些文件  怎么才能永远都是一个文件 而不是生成这么多文件

每次日志服务器传来一条日志信息 flume就会在hdfs上生成一个文件  有什么方法让它不生成文件 而是在原来的文件里面追加一条信息吗？

Hentai 发表于 2016-9-20 15:31
每当有信息发过来的时候 就会生成一些文件  怎么才能永远都是一个文件 而不是生成这么多文件

滚动的太快了下面参数调大一些。不断调整即可

agent1.sinks.sink1.hdfs.rollInterval=0
agent1.sinks.sink1.hdfs.rollSize=10
agent1.sinks.sink1.hdfs.rollCount=0

arsenduan 发表于 2016-9-20 15:50
滚动的太快了下面参数调大一些。不断调整即可

agent1.sinks.sink1.hdfs.rollInterval=0

我把rollsizi改成1000了 还是和原来没什么变化

Hentai 发表于 2016-9-20 15:54
我把rollsizi改成1000了 还是和原来没什么变化

在大，并且其它两个参数也变大或则直接去掉

学习一下，努力让自己成为大牛~

arsenduan 发表于 2016-9-20 15:57
在大，并且其它两个参数也变大或则直接去掉

官方文档说的是 0: never roll based on file size 意思应该是如果你设置成0 就不会因为文件大小而roll了吧？ 我设置成0 就相当于屏蔽掉它了

arsenduan 发表于 2016-9-20 15:57
在大，并且其它两个参数也变大或则直接去掉

不管我设置成多大 都没有什么变化

是flume不支持把数据写在同一个hdfs文件中吗？