用户组:游客
小弟我这边搭建flume+kafka,将flume接收到的数据sink到kafka中,flume报异常,而kafka的消费端则不停的循环收到相同的数据。我 ...
使用flume,如何保证source的各个文件在sink出去之后依然是这些文件?比如监控一个目录,写到hdfs上,如何保证写到hdfs上文件大 ...
参数上配的是 -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=239.2.11.71:8649 (ganglia 默认udp ) gangl ...
我的是离线日志,从外网拷贝到内网。以前是先把日志拷贝到内网winows server,然后从windows server 拷贝到 集群linux,然后再上 ...
问题背景: 使用flume搜集日志目录下动态,实时生产的文件 其中log 目录下有子目录,按日期命名,然后子目录下的日志是每小 ...
配置如下: a1.sources = r1 a1.channels = c1 a1.sinks = s1 a1.channels.c1.type = memory a1.channels.c1.capacity = ...
环境: 单节点:32G内存,一个agent 使用flume日志采集实时生成的日志文件信息时,在某个流量高峰时间段(一个小时产生7G-10 ...
[mw_shl_code=java,true]标准错误: /var/lib/ambari-agent/data/errors-1444.txt Traceback (most recent call last): ...
现在用intelJIDEA 开发的项目,配置flume文件中,不识别冒号,主机名和ip都不行。 大家谁见过这个错误,什么鬼,影响程序运行 ...
各位前辈好:由于公司业务需要:flume如何自定义channel?比如:我的sink速度太慢,就将event收集到file中;sink速度太快,就收 ...
[mw_shl_code=shell,true]Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256M; support was removed ...
日志出现“log4j:ERROR Flume append() failed.”,发现flume-ng-log4jappender-1.4.0有一个bug。详细,请查阅:https://issues ...
运行flume-ng 命令时,抛出异常: line 81: syntax error in conditional expression: unexpected token `('
如题,最近在用Flume来处理log4j日志,当通过avro接收后发现没有详细的异常堆栈,请假各位大神谁有解决方法。
额,刚回复不成功么? 我flume 的目的是:检测本地目录新文件(/home/see/seeupdate/blacklistOperRecord),将其搬到本地目 ...
flume官方说用sink processor提供一种分布式的负载均衡。如果一个memoryChannel+多个kafkaSink,使用sink processor负载均衡,能 ...
这几天,flume 老是自动停机。是这样的,我们每天4点半下班,下班之前flume一切正常,第二天来公司查看flume总会发 ...
最近被老大安排做一些日志收集的工作,完全不懂,用到了flume这个工具,有几个问题想请教一下:1、flume 如果从不同的应用中获取 ...
使用flume从rsyslog tcp 收信息,写入到hdfs中。 flume的配置如下: [mw_shl_code=xml,true]# Please paste flume.conf here. ...
Flume本身提供了http, ganglia的监控服务,而我们目前主要使用zabbix做监控。因此,我们为Flume添加了zabbix监控模块,和sa的监 ...
在 flume-1.7 中,SyslogUDPSource 的通讯协议使用 Oio ,而 TCP 的使用 Nio ? 是有什么特殊原因吗? 实际使用中发现,用 Oio ...
当前项目有个需求: socekt接受上游数据(客户端主动连接上游),接受的数据写入hdfs,并利用socket向下游传输数据(下游主动连 ...
我配置flume到hfs ,上传58m数据,上传40m后 ,总是到最后程序数据不落入hdfs,必须当我关闭flume进程,数据才刷新过去,大家帮 ...
版本flume1.7.0 , es 5.5.2,es 5.4.3 已经把es下的lib所有jar都扔到flume下的lib 两个版本都试了 ,一直报错 , 大神们帮忙看 ...
bin/conf/avro-kafka.conf SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/s ...
a1.sources=r1 a1.channels=c1 a1.sinks=k1 a1.sources.r1.type=spooldir a1.sources.r1.spoolDir=/home/training/Desktop ...
avro-memory-logger.sources = avro-source avro-memory-logger.sinks = logger-sink avro-memory-logger.channels = memory-c ...
问题来自about云群: sink往hdfs能汇集一定量的数据再向hdfs写吗? 滚动方式有多种: 包括: 时间、文件大小、写入事件数目 ...
Channel有2个队列容量配置,分别是capacity和transactionCapacity。capacity是MemoryChannel里的阻塞队列的容量,同时也是事件 ...
微信搜索关注:若泽大数据,有精美课程和定时推送技术博客,qq交流群:707635769,一起交流,一起进步 一、概念 1、Flum ...
本版积分规则 发表帖子
查看 »