用户组:游客
问题导读 1.Hadoop3.3支持JDK哪个版本? 2.SCM是什么? 3.YARN应用程序做了哪些改进? 4.整合腾讯云实现了什么文件系统? ...
项目中需要将日志文件导入到hdfs中进行处理,由于日志内容较复杂,中间可能存在有xml这种结构化内容,不能对数据截断到两个文件 ...
flume 怎么可以自定义分目录存储和自定义日志文件名,目前使用的是直接存储文件的形式
现在想获取应用的日志,监控一个目录,但是这个目录中的文件会一直变化,flume监控的目录下的文件不允许编辑,有什么办法实现? ...
本帖最后由 sstutu 于 2014-5-17 11:47 编辑 配置 用spooldir的source配置方式 到最后总报异常 大家有没有遇见过这中情 ...
最近公司准备搭建日志分析平台,所有的日志从日志服务器上获得。日志从日志服务器到Hadoop集群的HDFS文件系统,这中间过程 ...
我的文件来源是每1-2分钟产生一个800M左右的文件,需要放到hdfs中, 我试下来flume最多每分钟处理400M左右,效率太低, Spooli ...
对于log4j格式的按小时滚动日志,如何进行实时监控呢?采用exec还是spool比较好呢?
想确定一下一台机器到底能不能运行多个agents,也没有找到相关的官方文档。我自己实验了一下 自定义的source和sink,channel使 ...
flume配置如下: [demoe3base@kf-app1 conf]$ cat flume-conf.conf # Finally, now that we've defined all of our component ...
使用spooldir配置,读取本地目录的文件,并使用avro sink 远程的机器,最近老是报错,异常信息如下 :01 Aug 2017 10:36:00,957 ...
下面是我的配置 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #配置source1 agent1.sources.s ...
为了集群的管理Cloudera Manager,并安装CDH的flume1.5.0,现在我需要把第三方插件加入flume1.5.0中并引用,该怎么做呢?我直接 ...
一开始数据可以实时录入,可是一段时间后,就出问题了,日志已经产生到了12:00,而数据入es才到11:30,差了30分钟,请高手帮看一 ...
在大量日志情况下 flume收集日志跟不上处理日志的速度 就会造成日志堆积 需求: 我这里是有一个工具 会每10秒检测这个/home/g ...
因在测试环境,想测试下flume,目的是监听本地a目录下新文件,实时放到本地b目录,测试环境没有hadoop集群。需要用什么配置文件 ...
用flume收集mapreduce的日志到hdfs(通过在log4j配置文件里面增加一个到flume的appender),怎么让一个hadoop jar *命令产生一个 ...
请教一下,如果是用flume的exec方式去实时监控日志文件的话,那就意味着只能监控一个文件,那么如果我的日志文件是用tomcat生成 ...
情况是这样的: 线上flume监控目录里有文件mallshop_access.log 198.98M,由于一些原因需重启flume,重启后,flume采集mallsh ...
通过CDH5搭建了一个集群(节点分别为:A.1,A.2,A.3),但没有添加flume服务。 有三个web服务器(B.1,B.2,B.3)产生日志,我 ...
flume source 段json字符串,现在想把它转换成普通的字符串,存储到hdfs或者hive中,怎么做呢?我用的flume,但不太会,现在拿到 ...
1、flume1.8是否可以解决多级目录检索?2、如图,利用1.8TAILDIR监听多个目录,执行时没有报错,但是不能监听这俩个目录,请问是 ...
使用taildir监听一个目录,出现报错: 2017-11-11 00:22:18,468 (lifecycleSupervisor-1-0) [ERROR - org.apache.flume.source.t ...
环境:CDH5.0.2+flume1.4.0 flume使用SpoolSource监控生成的日志,但是考虑到目录下有大量业务日志生成,想对这些日志作个区分 ...
由于公司业务需要,我需要通过flume监控日志上传到solr服务器,目前这一步已经做到 但是最终的目的还没有达成,遇到了点问题。 ...
两个agent消费同一个kafka的topic,写入都到各自的hdfs文件夹中如何实现? 补充下,不启用flume的replicating功能,主要考虑最 ...
个人理解是hdfs.minBlockReplicas=1是存入hdfs的数据文件在hdfs的备份数,但是当我设置为1时,在hdfs查看备份数仍然为3.这为什么 ...
flume报的这个错误
flume在1.6版本中推出了对速率和安全双保险的kafka channel,不知道大家有没有尝试过。
我在A机器上装有flume(A中并不在hadoop集群中),想要上传到装有CDH的B中(B中并没有装flume agent),运行报错如下: java.la ...
tomcat下的工程,原来一切正常,现在准备在log4j中加入flume支持,系统就无法登录了,具体情况如下:
本版积分规则 发表帖子
查看 »