用户组:游客
在Flume 配置中,Sink的参数batchSize会影响到整个流程的性能。比如说HDFS sink,它的参数称hdfs.batchSize,这样称呼是由于历 ...
运行flume-ng 命令时,抛出异常: line 81: syntax error in conditional expression: unexpected token `('
日志出现“log4j:ERROR Flume append() failed.”,发现flume-ng-log4jappender-1.4.0有一个bug。详细,请查阅:https://issues ...
我的文件来源是每1-2分钟产生一个800M左右的文件,需要放到hdfs中, 我试下来flume最多每分钟处理400M左右,效率太低, Spooli ...
通过cloudera manager添加flume服务,发现最多就是一台机一个flume agent。 打个比方我一个集群5台机的话,我最多就是添加5个ag ...
本人刚接触Flume,还不太熟悉,还望各位不吝赐教。 应用场景: 用Flume实时采集日志到HDFS,按小时切割目录。然后每小时定时 ...
如题,请问如何在windows系统下使用flume-ng框架啊?
用的是hadoop2.5,flume1.5 flume采集写入hdfs,要求提高实时性,按一小时分文件不行,时间再短么小文件太多了 现在hdfs设了 ...
大家好: 我使用avro接口,那么source中每个event的数量是多少条?是否可以配置? 假如说可以配置,那么配置成10条,那么如果进 ...
大家好: 请问flume如何进行可视化监控? 或者说一般如何去监控吞吐的? 谢谢 hark
大家好: 我的HIVE是数据是按天分区存储在HDFS中的。我的更新策略是120M,或者两小时flush一次数据。那么,可能存在数据跨天的 ...
情况是这样的: 线上flume监控目录里有文件mallshop_access.log 198.98M,由于一些原因需重启flume,重启后,flume采集mallsh ...
有人遇到过这种问题吗,我按照网上的安装了32位包,可还是会报错 ,完整报错如下: bash: export FLUME_HOME=/home/grid/f ...
最近老是给了一个项目给我们,要我们用flume从路由器里抓取别人上网的信息并存贮下来,我对flume不是很了解,只知道是一个日志收 ...
我现在考虑用flum做日志管理,有几个问题想问问做过的朋友: 1.flume对于远程文件,如果不采用agent方式,有什么好办法来保证日 ...
一开始数据可以实时录入,可是一段时间后,就出问题了,日志已经产生到了12:00,而数据入es才到11:30,差了30分钟,请高手帮看一 ...
flume 怎么可以自定义分目录存储和自定义日志文件名,目前使用的是直接存储文件的形式
现在想获取应用的日志,监控一个目录,但是这个目录中的文件会一直变化,flume监控的目录下的文件不允许编辑,有什么办法实现? ...
已经搭建好一个集群,有6个节点,一号节点为namenode,二号节点为secondnamenode,三号节点为resourceMange, 四、五、六号节点为 ...
想确定一下一台机器到底能不能运行多个agents,也没有找到相关的官方文档。我自己实验了一下 自定义的source和sink,channel使 ...
为了集群的管理Cloudera Manager,并安装CDH的flume1.5.0,现在我需要把第三方插件加入flume1.5.0中并引用,该怎么做呢?我直接 ...
对于log4j格式的按小时滚动日志,如何进行实时监控呢?采用exec还是spool比较好呢?
tail 采集日志入库,flume-ng跑一段时间后取到的日志不完整了,,一条数据 前面被截了几十个字符采集日志为nginx 日志一条 大约 ...
项目中需要将日志文件导入到hdfs中进行处理,由于日志内容较复杂,中间可能存在有xml这种结构化内容,不能对数据截断到两个文件 ...
环境:CDH5.0.2+flume1.4.0 flume使用SpoolSource监控生成的日志,但是考虑到目录下有大量业务日志生成,想对这些日志作个区分 ...
我想用flumeng采集日志后发往jafka 然后java通过API 取出,请问怎么整合哦》? 可否在JAVA直接从flumeng中取出数据
由于公司业务需要,我需要通过flume监控日志上传到solr服务器,目前这一步已经做到 但是最终的目的还没有达成,遇到了点问题。 ...
最近公司有个需求,就是用flume将一文件夹下的许多小文件分类,自定义sink端持久化到数据库,但是遇到一个问题,就是那些被flume ...
本帖最后由 sstutu 于 2014-5-17 11:47 编辑 配置 用spooldir的source配置方式 到最后总报异常 大家有没有遇见过这中情 ...
flume配置如下: [demoe3base@kf-app1 conf]$ cat flume-conf.conf # Finally, now that we've defined all of our component ...
本版积分规则 发表帖子
查看 »