flume日志收集效率问题

ablin · 发表于 2015-11-4 20:02:51

本帖最后由 pig2 于 2015-11-4 20:27 编辑

arsenduan 发表于 2015-11-4 18:57
个人配置是什么？是否尝试增大内存，flume内存也相应调大

查看了公司虚拟机的IO效率自己笔记本虚拟机的IO效率
发现自己笔记本虚拟机cached 读速度是公司虚拟机cached速度的1.8倍。。会不会是这个原因导致的呢。。

自己电脑

公司虚拟机

arsenduan · 发表于 2015-11-4 20:17:39

ablin 发表于 2015-11-4 20:02
查看了公司虚拟机的IO效率自己笔记本虚拟机的IO效率
发现自己笔记本虚拟机cached 读速度是公司虚拟机 ...

对的，磁盘也是考虑因素

cherryzxh007 · 发表于 2015-11-5 23:39:00

flume测过一分钟大概也就300来m,增加memory和transaction到非常大并不会提高速度，反而会导致一系列的内存溢出等问题

ablin · 发表于 2015-11-6 10:31:31

cherryzxh007 发表于 2015-11-5 23:39
flume测过一分钟大概也就300来m,增加memory和transaction到非常大并不会提高速度，反而会导致一系列的内存 ...

昨天自己在flume源码里增加了 hdfs commit的时间点，发现自己笔记本的虚拟机在batchSize=10000的情况下，一次commit花了3秒时间左右，而在公司虚拟机上一次commit需要7到10秒时间不等。。我现在怀疑，可能是我自己笔记本的三台虚拟机都是在一台物理机上，而公司3台虚拟机各分布在不同的物理机上导致的这个时间差异。。但是又暴露出一个问题，公司虚拟机调 capacity,batchsize大小速度都不变化，在相差100倍甚至相差1000倍的情况下，速度都保持在2M/S左右，很奇怪。。因该要浮动一点，然后达到一个瓶颈值，这样才算正常吧。。