flume日志收集效率问题

   最近公司准备搭建日志分析平台，所有的日志从日志服务器上获得。日志从日志服务器到Hadoop集群的HDFS文件系统，这中间过程我采用flume-ng.
   个人也是最近才研究flume，这中间碰到不少麻烦。有的解决了，有的待解决，困扰我比较久的问题是flume日志收集速度不够快。
   我采用 spool source + memory channel + hdfs sink 。把一个300M本地文件，移动到HDFS上，速度竟然只有2M/S，更坑爹的是，我memory.capatity从1000往上调到100万，transactionCapatity从500调到20W ，source 和 sink的 batchSize 从200 调到10万。速度竟然依旧保持在2M/S，真是坑的要命。。这个麻烦，困扰了我许久。不知道这个坑在哪里潜伏着。
   希望各位看官能帮我把这个坑找出来

flume 配置

ablin · 发表于 2015-11-4 14:18:04

我在自己笔记本电脑的虚拟机上，同样的flume配置文件速度有6M/s，在公司的虚拟机上却只有2M/s,公司的内部虚拟机网络可以达到100M/s, 排除网络的原因。而且公司虚拟机是8核的，自己笔记本电脑虚拟机只有1核。。这个坑，似乎有点大

mituan2008 · 发表于 2015-11-4 14:48:34

ablin 发表于 2015-11-4 14:18
我在自己笔记本电脑的虚拟机上，同样的flume配置文件速度有6M/s，在公司的虚拟机上却只有2M/s,公司的内部虚 ...

硬件配置是一方面，虚拟机是怎么配置的。
rollInterval该的小一些，在本身的环境中应该传的快一些

ablin · 发表于 2015-11-4 15:05:31

mituan2008 发表于 2015-11-4 14:48
硬件配置是一方面，虚拟机是怎么配置的。
rollInterval该的小一些，在本身的环境中应该传的快一些

尝试了你说的改小，没变化。2m/s依然。

ablin · 发表于 2015-11-4 15:58:53

mituan2008 发表于 2015-11-4 14:48
硬件配置是一方面，虚拟机是怎么配置的。
rollInterval该的小一些，在本身的环境中应该传的快一些

哥们，你用flume时，数据收集的速率可以达到多少？

arsenduan · 发表于 2015-11-4 17:58:58

ablin 发表于 2015-11-4 15:58
哥们，你用flume时，数据收集的速率可以达到多少？

配置生效没，尝试修改下其他配置。比如按照大小滚动，或则个数

pig2 · 发表于 2015-11-4 18:22:33

尝试使用其它 channel ，看看速率是否有变化

ablin · 发表于 2015-11-4 18:33:35

本帖最后由 ablin 于 2015-11-4 18:35 编辑

pig2 发表于 2015-11-4 18:22
尝试使用其它 channel ，看看速率是否有变化

file channel只有1M/s左右。不过话说，memory channel 内存给它设置越大，最后它的最高速度会达到什么样的一个级别呢？在网络宽松，其他性能善佳的情况下，速度是几十兆每秒，还是多少呢？flume给我的感觉，数据收集速度有点慢，即使是用memory channnel. 也有可能是我这新手，还没完全领会它的奥妙。