用户组:游客
配置如下: a1.sources = r1 a1.channels = c1 a1.sinks = s1 a1.channels.c1.type = memory a1.channels.c1.capacity = ...
我的数据来源于从程序到kafka中,通过flume采集到solr,但是配置这里难住了,不太懂 morphlines.conf这个里面是怎么写的。 我的 ...
我配置flume到hfs ,上传58m数据,上传40m后 ,总是到最后程序数据不落入hdfs,必须当我关闭flume进程,数据才刷新过去,大家帮 ...
个人理解是hdfs.minBlockReplicas=1是存入hdfs的数据文件在hdfs的备份数,但是当我设置为1时,在hdfs查看备份数仍然为3.这为什么 ...
问题背景: 使用flume搜集日志目录下动态,实时生产的文件 其中log 目录下有子目录,按日期命名,然后子目录下的日志是每小 ...
当前项目有个需求: socekt接受上游数据(客户端主动连接上游),接受的数据写入hdfs,并利用socket向下游传输数据(下游主动连 ...
情况是这样的: 公司应用服务器在阿里云,hadoop集群在我们公司内网。 现在要把我们应用服务器日志通过flume采集到内网hdfs。 ...
souce 使用 spooldir 对指定目录下的log日志文件进行监控 配置文件如下 用如上配置监控日志输出到hdfs上,若是处理单行的 ...
在 flume-1.7 中,SyslogUDPSource 的通讯协议使用 Oio ,而 TCP 的使用 Nio ? 是有什么特殊原因吗? 实际使用中发现,用 Oio ...
请各位大神赐教
目前我的需求是想要得到我自己的网站页面跳转的信息,然后看看各个模块的访问情况。刚刚接触flume,对于大部分东西都还能理解, ...
我的是离线日志,从外网拷贝到内网。以前是先把日志拷贝到内网winows server,然后从windows server 拷贝到 集群linux,然后再上 ...
Flume本身提供了http, ganglia的监控服务,而我们目前主要使用zabbix做监控。因此,我们为Flume添加了zabbix监控模块,和sa的监 ...
按照指定大小,滚动生成指定大小文件,可生成的文件权限怎么去控制呢?当前用户是root,flume生成的文件 root supergroup(用户 ...
flume source 段json字符串,现在想把它转换成普通的字符串,存储到hdfs或者hive中,怎么做呢?我用的flume,但不太会,现在拿到 ...
现在在做用flume把两台服务器上的日志实时收集到hdfs, 但有个问题传到hdfs上的东西会分成多个文件,虽然可以设置按大小、时间 ...
flume报的这个错误
我想让第一个agent的sink 直接作为第二个agent的source该怎么配置呢?有配过这种方式的朋友吗?
我不想用自增的行键该怎么弄?求各位朋友解答一下
下面是我的配置 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #配置source1 agent1.sources.s ...
如果以kafka做为flume的channel ,当我自己写程序消费里面的数据时,数据出现了乱码,当我用loggerSink 读取时,数据是这样的 ...
参数上配的是 -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=239.2.11.71:8649 (ganglia 默认udp ) gangl ...
我们需要从其他地方获取redis的消息队列,格式为json.对方不愿意改成普通的日志文件格式。 那么,我可以通过flume获取吗?该怎 ...
大家好,第一次发帖,请多多支持。 公司正准备开始使用Hadoop,只是在试验中,所以现在研究Hadoop的只有我一个人,历经了千辛万 ...
通过CDH5搭建了一个集群(节点分别为:A.1,A.2,A.3),但没有添加flume服务。 有三个web服务器(B.1,B.2,B.3)产生日志,我 ...
使用flume,如何保证source的各个文件在sink出去之后依然是这些文件?比如监控一个目录,写到hdfs上,如何保证写到hdfs上文件大 ...
我在A机器上装有flume(A中并不在hadoop集群中),想要上传到装有CDH的B中(B中并没有装flume agent),运行报错如下: java.la ...
使用flume从rsyslog tcp 收信息,写入到hdfs中。 flume的配置如下: [mw_shl_code=xml,true]# Please paste flume.conf here. ...
小弟我这边搭建flume+kafka,将flume接收到的数据sink到kafka中,flume报异常,而kafka的消费端则不停的循环收到相同的数据。我 ...
在项目中发现将一个44M的数据通过flume写入hdfs中,但是hdfs中的数据只有563.74 KB,求指教。下面是我的配置和结果截图。 这 ...
本版积分规则 发表帖子
查看 »