用户组:游客
看到1.6版本支持kafkaChannel想用下,但是只要配置了sink就会报错,配置如下: 报错信息: 试了很多办法都没能解决, ...
使用flume采集数据一个文件10m左右,1小时14G左右 用spooldir做source,直接存入hdfs, 问题一: SpoolDirectorySource总是出现 ...
通过cloudera manager添加flume服务,发现最多就是一台机一个flume agent。 打个比方我一个集群5台机的话,我最多就是添加5个ag ...
请教一下,如果是用flume的exec方式去实时监控日志文件的话,那就意味着只能监控一个文件,那么如果我的日志文件是用tomcat生成 ...
大家好: 我的HIVE是数据是按天分区存储在HDFS中的。我的更新策略是120M,或者两小时flush一次数据。那么,可能存在数据跨天的 ...
数据格式 2017-08-02 13:10:19.094|HSFBizProcessor-5-thread-155|DEBUG|setMember begin typeId=[qps_push_waybill], key=[ ...
flume source 段json字符串,现在想把它转换成普通的字符串,存储到hdfs或者hive中,怎么做呢?我用的flume,但不太会,现在拿到 ...
如题,现在采用tcpsyslogsource+kafkaChannel+kafkaSink结构,应该如何配置使用?
我们需要从其他地方获取redis的消息队列,格式为json.对方不愿意改成普通的日志文件格式。 那么,我可以通过flume获取吗?该怎 ...
请教一下各位大神,在实际生产环境中 Flume的启动命令应该怎么写,前段时间一直学习flume都是直接输出日志到控制台的, 在 ...
只是少部分文件损坏,mapreduce任务会终止,解压结果比压缩文件小很多?
情况是这样的: 线上flume监控目录里有文件mallshop_access.log 198.98M,由于一些原因需重启flume,重启后,flume采集mallsh ...
已经搭建好一个集群,有6个节点,一号节点为namenode,二号节点为secondnamenode,三号节点为resourceMange, 四、五、六号节点为 ...
现象:sink是kafka,有时候人为的停止kafka服务,导致各个flume端报错,当启动kafka,flume可以正常恢复,但长时间不启动kafka(N ...
用的是hadoop2.5,flume1.5 flume采集写入hdfs,要求提高实时性,按一小时分文件不行,时间再短么小文件太多了 现在hdfs设了 ...
目前我的需求是想要得到我自己的网站页面跳转的信息,然后看看各个模块的访问情况。刚刚接触flume,对于大部分东西都还能理解, ...
请各位大神赐教
本想搭建一个 flume+hdfs+kafka+storm+mysql 的日志实时分析和存储的系统,但是flume日志收集这块一直不通,查看flume的日志也没 ...
flume 要实现远程采集, 采集端投递日志信息如下: 请大神帮忙,为什么flume老是连接失败,不在hdfs上存放新文件呢?
我在A机器上装有flume(A中并不在hadoop集群中),想要上传到装有CDH的B中(B中并没有装flume agent),运行报错如下: java.la ...
大家好: 请问flume如何进行可视化监控? 或者说一般如何去监控吞吐的? 谢谢 hark
个人理解是hdfs.minBlockReplicas=1是存入hdfs的数据文件在hdfs的备份数,但是当我设置为1时,在hdfs查看备份数仍然为3.这为什么 ...
有人遇到过这种问题吗,我按照网上的安装了32位包,可还是会报错 ,完整报错如下: bash: export FLUME_HOME=/home/grid/f ...
情况是这样的: 公司应用服务器在阿里云,hadoop集群在我们公司内网。 现在要把我们应用服务器日志通过flume采集到内网hdfs。 ...
两个agent消费同一个kafka的topic,写入都到各自的hdfs文件夹中如何实现? 补充下,不启用flume的replicating功能,主要考虑最 ...
按照指定大小,滚动生成指定大小文件,可生成的文件权限怎么去控制呢?当前用户是root,flume生成的文件 root supergroup(用户 ...
tomcat服务,服务端口为8085,原来的访问地址是http://localhost:8085/zspt 但是启动flume后,config配置文件监听8085端口,网站 ...
铜锁Spooldir收集为什么日志存储到HDFS上的时候,把内容分为很多个 log 存储,而且每个log的size存储的内容才 653B; 如图 发送 ...
flume在1.6版本中推出了对速率和安全双保险的kafka channel,不知道大家有没有尝试过。
请问下flume否可以监控一个目录下的所有子文件中的日志,并把子文件夹、日志一起传输到另外一台服务器上?
本版积分规则 发表帖子
查看 »