Flume Spooldir Source 采集性能低

Flume采集数据到Kafka，大约只有17MB/s

agent 配置文件：
b1.channels = c1
b1.sources = r1
b1.sinks = k1

b1.sources.r1.type = spooldir
b1.sources.r1.channels = c1
b1.sources.r1.spoolDir = /tmp/flumeSpool
b1.sources.r1.batchSize = 1000

b1.channels.c1.type = memory
b1.channels.c1.capacity = 10000
b1.channels.c1.transactionCapacity = 1000

b1.sinks.k1.channel = c1
b1.sinks.k1.batchSize = 1000
#b1.sinks.k1.type = null
b1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
b1.sinks.k1.kafka.partitioner.class = iie.kafka.producer.RandomPartitioner
b1.sinks.k1.topic=test
b1.sinks.k1.brokerList = localhost:9092



kafka topic一个分区
被采集数据文件大小：1.3GB
Flume日志信息，大约需要76s
2015-10-28 20:19:59,185 INFO kafka.client.ClientUtils$: Fetching metadata from broker id:0,host:localhost,port:9092 with correlation id 0 for 1 topic(s) Set(test)
2015-10-28 20:19:59,189 INFO kafka.producer.SyncProducer: Connected to localhost:9092 for producing
2015-10-28 20:19:59,232 INFO kafka.producer.SyncProducer: Disconnecting from localhost:9092
2015-10-28 20:19:59,424 INFO kafka.producer.SyncProducer: Connected to m103:9092 for producing
2015-10-28 20:21:15,416 INFO org.apache.flume.client.avro.ReliableSpoolingFileEventReader: Preparing to move file /tmp/flumeSpool/T_RZ_XWXX.1G to /tmp/flumeSpool/T_RZ_XWXX.1G.COMPLETED

采取下面措施试试：
1.增大内容
2.rollInterval时间间隔短一些

muyannian 发表于 2015-10-28 20:54
采取下面措施试试：
1.增大内容
2.rollInterval时间间隔短一些

增大内容，意思是增大每条数据的大小吗？
rollInterval时间间隔？这是什么鬼，我也没有将数据网hdfs写呀

zxmit 发表于 2015-10-28 21:34
增大内容，意思是增大每条数据的大小吗？
rollInterval时间间隔？这是什么鬼，我也没有将数据网hdfs写呀 ...

增大内存

先确定楼主网速多少batchSize 调整下，在非常大和非常小的情况下，分别测试下

tntzbzc 发表于 2015-10-28 22:31
先确定楼主网速多少batchSize 调整下，在非常大和非常小的情况下，分别测试下

万兆网卡，17MB/s确实太小了，batchSize值默认是100，我调整到1000后，性能并没有提高

muyannian 发表于 2015-10-28 22:07
增大内存

增大内存又是。。。memory Channel 中capacity设置为600W也是无济于事呀

zxmit 发表于 2015-10-28 23:49
万兆网卡，17MB/s确实太小了，batchSize值默认是100，我调整到1000后，性能并没有提高

这样对比效果不明显：10:10000
或则1：10000

topic分区数改为10个试试

这个问题你后来找到解决方案了么。我也遇到这个问题，spooldir是单线程处理的，你后来有什么好的办法么，谢谢。