分享

flume 用spooldir的source配置方式 到最后总报异常

sstutu 发表于 2014-5-17 11:41:12 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 18 71911
zzuyao 发表于 2015-1-4 22:07:06
解决了吗,什么原因?
回复

使用道具 举报

llp 发表于 2015-8-7 17:05:59
flume发送内容到文本文件中,为什么只有一行出现乱码?  只有一行啊?乱码是^@
回复

使用道具 举报

jixianqiuxue 发表于 2015-8-7 17:19:17
llp 发表于 2015-8-7 17:05
flume发送内容到文本文件中,为什么只有一行出现乱码?  只有一行啊?乱码是^@

跟文本的编码应该有关系
回复

使用道具 举报

llp 发表于 2015-8-10 13:16:53
源数据的格式已经是UTF-8了      
回复

使用道具 举报

zhangjiajie 发表于 2016-2-25 11:21:33
hyj 发表于 2014-5-17 14:00
把flume启动后 直接把那个日志文件 上传到那个 被监控的文件夹下,的日志文件 一直都是一个文件,你可以使 ...
日志分析 最好还是不要用 spooldir方式吧,否则会报错


日志分析为什么不要使用spooldir?求指教
回复

使用道具 举报

Yaphets 发表于 2017-6-6 16:09:22
mjjian0 发表于 2014-5-26 10:41
我们用的 就是exec方式,

你好,你用EXEC方式的话,采集这个catalina.out文件里面的一些log信息,到了每天零点,才会变成后面加上当天时间的文件,怎么实时采集呢,还有就是怎么处理丢失数据的问题呢?谢谢
回复

使用道具 举报

starrycheng 发表于 2017-6-6 16:55:04
Yaphets 发表于 2017-6-6 16:09
你好,你用EXEC方式的话,采集这个catalina.out文件里面的一些log信息,到了每天零点,才会变成后面加上 ...

试试这个
a1.sinks.k1.hdfs.filePrefix = logFile.%Y-%m-%d
a1.sinks.k1.hdfs.fileSuffix = .log

回复

使用道具 举报

Yaphets 发表于 2017-6-7 08:40:48
starrycheng 发表于 2017-6-6 16:55
试试这个
a1.sinks.k1.hdfs.filePrefix = logFile.%Y-%m-%d
a1.sinks.k1.hdfs.fileSuffix = .log

大神好,刚接触flume,请问EXEC的方式会遇到采集log信息不能超过16位字节,同样的 如果我只需要log信息中一两个比较关键的字段怎么通过正则拦截器把这两个字段取出来呢。谢谢!烦请解释一下您回复的这个是指什么意思?非常感谢
回复

使用道具 举报

12
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条