Flume+EleasticSearch延时现象严重

一开始数据可以实时录入，可是一段时间后，就出问题了，日志已经产生到了12:00，而数据入es才到11:30，差了30分钟，请高手帮看一下，配置文件如下：

首先你的内存要够大，同时调整OS的内核参数调整。下面参数，可以参考调正下：

a1.sinks.k1.batchSize=10000
a1.sinks.k1.hdfs.rollSize = 40000000
a1.sinks.k1.hdfs.threadsPoolSize = 100  

a1.channels.c1.transactionCapacity=20000
a1.channels.c1.transactionCapacity=500000

调到这么大？

bwboy 发表于 2014-9-28 23:04
调到这么大？

可以参考这个：
flume-ng性能优化与架构设计

http://www.aboutyun.com/thread-9172-1-1.html

pig2 发表于 2014-9-28 23:20
可以参考这个：
flume-ng性能优化与架构设计

好的，非常感谢~！

楼主您好，我也使用的 flume+elasticSearch  但是现在tomcat的日志是json格式的 如何把json映射到elasticSearch中，现在存储到es的数据都是整个日志信息在一个字段@message中 ，请问如何映射到不同的字段呢？

资料学习中

怎么这样。

貌似蛮厉害的样子啊

提了一个好问题，也非常感谢回答问题的网友！