分享

让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2

pig2 2014-6-2 02:09:44 发表于 实操演练 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 37 150416
admln 发表于 2014-12-18 13:13:26
为什么要源码中的东西覆盖一下bin包中的东西呢?
回复

使用道具 举报

304974525@qq.co 发表于 2014-12-22 17:29:12
你好,我想请教一下,我如果是自己修改了源码然后编译,怎样才可以在我的本地进行debug调试呢?
本地调试是说在我单机环境里把flume跑起来,像诸如hbase,hdfs,kafka那些我可以连接远程服务器。。
回复

使用道具 举报

pioneer 发表于 2015-2-2 15:59:50
回复

使用道具 举报

小小布衣 发表于 2015-2-5 14:06:11
请问我要不数据传输到另外的一个服务器的本地,而不是hdfs上面,但是另外的服务器是要秘钥才能相互传输的,这个我改怎么解决
回复

使用道具 举报

s060403072 发表于 2015-2-5 14:56:03
小小布衣 发表于 2015-2-5 14:06
请问我要不数据传输到另外的一个服务器的本地,而不是hdfs上面,但是另外的服务器是要秘钥才能相互传输的, ...

直接使用shell复制就ok了。或则写个小程序
回复

使用道具 举报

小小布衣 发表于 2015-2-6 17:41:51
s060403072 发表于 2015-2-5 14:56
直接使用shell复制就ok了。或则写个小程序

复制好low啊,而且还不能实时

点评

实时应该是一个死循环,不断查就ok了。本地与本地这个还是比较简单的  发表于 2015-2-7 12:17
回复

使用道具 举报

tustyao 发表于 2015-2-12 14:22:25
回复

使用道具 举报

babyLiyuan 发表于 2015-3-12 22:50:59
显示Spooling Directory Source runner has shutdown. 文件也没有上传成功。请问是什么原因呀?

屏幕快照 2015-03-12 下午10.48.20.png
回复

使用道具 举报

babyLiyuan 发表于 2015-3-13 00:45:16
在hdfs中没看到文件,但是在监控文件里出现了**.COMPLETED
回复

使用道具 举报

s060403072 发表于 2015-3-13 01:00:18
babyLiyuan 发表于 2015-3-13 00:45
在hdfs中没看到文件,但是在监控文件里出现了**.COMPLETED

已经配置成功了,目前监控目录文件已全部上传,处于空状态。
所以上面是正常的,一旦监控目录中有文件,flume会自动上传,看到的信息也会发生变化

点评

谢谢,你是对的。我之前在监控目录里建的都是空文件,所以没有被上传。现在我在文件里随便写了点东西,就上传了。非常感谢  发表于 2015-3-13 20:45
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条