分享

Flume1.5.0入门:安装、部署、及flume的案例

 
Fortitude 发表于 2015-12-25 10:30:18
案例8)至案例11)这几个案例中,数据流向都是systcp→avro→logger,每个host都是启动了两个agent,为什么不只启动一个agent,把数据systcp直接到logger呢?是有别的将就还是只是为了展示一下flume的sink可以做为下一个agent的source源?
回复

使用道具 举报

神豪。 发表于 2016-1-9 14:22:49
log4j:WARN No appenders could be found for logger (org.apache.flume.api.NettyAvroRpcClient).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
回复

使用道具 举报

zhangjiajie 发表于 2016-1-13 23:15:19
感谢楼主分享,确实是非常棒的flume入门指南。赞!
回复

使用道具 举报

zhangjiajie 发表于 2016-1-14 16:46:45
我在试验时发现,接收到的数据在控制台上的显示是被截断,不完整的(只显示16个字母),请问这是什么原因呢?
回复

使用道具 举报

andy_ghg 发表于 2016-1-26 17:31:49
请问Flume NG 启动的时候LOG4J不输出内容是怎么回事儿?在一台安装了HIVE、HBASE、HADOOP(也就是Hadoop 的 Namenode)上因为配置了HIVE等环境变量,LOG日志是输出的,但是在其他机器上没有数据,求解。
回复

使用道具 举报

andy_ghg 发表于 2016-1-26 18:04:11
andy_ghg 发表于 2016-1-26 17:31
请问Flume NG 启动的时候LOG4J不输出内容是怎么回事儿?在一台安装了HIVE、HBASE、HADOOP(也就是Hadoop 的 ...

好了,关于 Flume NG 1.6 无法输出日志到控制台的问题已经解决。
解决方法:
在 Flume目录下(而不是在conf目录下)执行命令时加上 -c conf参数即可,例如:
nohup flume-ng agent -c conf -f conf/xxx.conf -n webserv -Dflume.root.logger=DEBUG,console &
注意其中的 -f conf/xxx.conf,这里的目录一定要对,否则日志会报错。
回复

使用道具 举报

shenkshenw 发表于 2016-2-17 15:39:23
你好,我想问一下,如果想要flume  spool  监控远程目录是否可以?
回复

使用道具 举报

atsky123 发表于 2016-2-17 15:43:17
shenkshenw 发表于 2016-2-17 15:39
你好,我想问一下,如果想要flume  spool  监控远程目录是否可以?

目前还没发现,可以自己自定义开发个
回复

使用道具 举报

bbfj 发表于 2016-3-23 15:10:50
很好的参考,学习了
回复

使用道具 举报

笑风 发表于 2016-4-3 19:53:51
请教版主,我目前做的是用Spooling directory source的自定义扩展作为source,memory channel作为channel,自定义sink,但是监控目录文件处理不过来怎么搞?有没有提高效率的方法
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条