用户组:游客
铜锁Spooldir收集为什么日志存储到HDFS上的时候,把内容分为很多个 log 存储,而且每个log的size存储的内容才 653B; 如图 发送 ...
使用flume采集数据一个文件10m左右,1小时14G左右 用spooldir做source,直接存入hdfs, 问题一: SpoolDirectorySource总是出现 ...
我现在使用的是CentOS 7, flume 1.5.0官方原版. 如果我把flume安装在hadoop的机器上,则flume就能正常写入日志到hdfs当中.如果 ...
看到1.6版本支持kafkaChannel想用下,但是只要配置了sink就会报错,配置如下: 报错信息: 试了很多办法都没能解决, ...
启动flume过一段时间就会报这个异常,请问该如何处理~~ (org.apache.flume.sink.hdfs.BucketWriter$4.call:387) - Closing ...
我现在有很多台web服务器,日志都是通过syslog记录的,我现在需要通过flume采集syslog到hdfs,我计划是每台服务器部署一个fl ...
第二层的agent可以通过sinkgroups的failover和load_balance来保证,可是直接接收数据流的agent挂了怎么办?想过用两个以上的agen ...
场景:安卓手机日志收集与分析 通过大量测试机自动/人工手动上传日志,日志数据量较大、日志产生频繁,暂定为所有日志存储在HDF ...
最近被老大安排做一些日志收集的工作,完全不懂,用到了flume这个工具,有几个问题想请教一下:1、flume 如果从不同的应用中获取 ...
我的场景是这样的 有多个个接口机接收压缩过的gz日志文件, 目前想用flume来采集gz 数据文件。 gunzip -c xxxlog.gz| ...
这几天,flume 老是自动停机。是这样的,我们每天4点半下班,下班之前flume一切正常,第二天来公司查看flume总会发 ...
用flume收集mapreduce的日志到hdfs(通过在log4j配置文件里面增加一个到flume的appender),怎么让一个hadoop jar *命令产生一个 ...
最近公司准备搭建日志分析平台,所有的日志从日志服务器上获得。日志从日志服务器到Hadoop集群的HDFS文件系统,这中间过程 ...
用flume接收http请求的json测试了下并发很低。不知道谁用过没?大概单机能到多少并发响应是合理值呢。自己写程序测试比flume高了 ...
flume怎么按实际数据里的时间字段来分区写入hdfs目录?比如监控文件,文件里的数据第一个字段是时间信息,或者我要监控的文件名 ...
在大量日志情况下 flume收集日志跟不上处理日志的速度 就会造成日志堆积 需求: 我这里是有一个工具 会每10秒检测这个/home/g ...
求solr+flume的搭建文档,不依赖于hdfs,用于分析日志
flume官方说用sink processor提供一种分布式的负载均衡。如果一个memoryChannel+多个kafkaSink,使用sink processor负载均衡,能 ...
Hi 各位战友,小弟今天测试了一下flume在非hbase节点的工作情况,结果启动出现了异常,之前在hbase节点之下是可以运行 ...
请教一下,如果是用flume的exec方式去实时监控日志文件的话,那就意味着只能监控一个文件,那么如果我的日志文件是用tomcat生成 ...
请教一下各位大神,在实际生产环境中 Flume的启动命令应该怎么写,前段时间一直学习flume都是直接输出日志到控制台的, 在 ...
问题来自about云群: sink往hdfs能汇集一定量的数据再向hdfs写吗? 滚动方式有多种: 包括: 时间、文件大小、写入事件数目 ...
以下是配置文件,在采集5M的文件的时候,到了300多KB。就自动完成了采集。。。。。。。。。 数据只有很少一部分在hdfs。刚接触 ...
额,刚回复不成功么? 我flume 的目的是:检测本地目录新文件(/home/see/seeupdate/blacklistOperRecord),将其搬到本地目 ...
因在测试环境,想测试下flume,目的是监听本地a目录下新文件,实时放到本地b目录,测试环境没有hadoop集群。需要用什么配置文件 ...
如题,现在采用tcpsyslogsource+kafkaChannel+kafkaSink结构,应该如何配置使用?
flume在1.6版本中推出了对速率和安全双保险的kafka channel,不知道大家有没有尝试过。
flume在使用中选择了memorychannel,在设置capacity和transcapacity时应设置成多大,设置大小和性能之间有什么关系?请大神们解 ...
目前的 spoolSource 只能支持对文件个数的增长的监控,不能做到实时监控,就算按照分钟滚动文件也是最多准实时,使用exc Tail ...
如题,最近在用Flume来处理log4j日志,当通过avro接收后发现没有详细的异常堆栈,请假各位大神谁有解决方法。
本版积分规则 发表帖子
查看 »