Kafka与 Flume 的区别记录分享

墨小黑 · 发表于 2017-5-6 17:33:37

easthome001 发表于 2017-5-6 17:28
agent1.channels.fileChannel.checkpointDir = /home/hadoop/apache-flume-1.6.0-bin/checkpoint
目录是 ...

每次启动，都会把checkpointDir下面的文件删除。
把参数调小调大，都试过了！

easthome001 · 发表于 2017-5-6 17:42:43

本帖最后由 easthome001 于 2017-5-6 17:44 编辑

墨小黑发表于 2017-5-6 17:33
每次启动，都会把checkpointDir下面的文件删除。
把参数调小调大，都试过了！

重启删除，这样找不到问题呀。当挂掉的时候，你看看是不是里面满了。
还有另外一个可能性，就是jvm的参数配置。内存足够不代表，jvm配置是足够的。
调整下conf/flume-env.sh的配置

wanghiu · 发表于 2017-5-15 18:24:13

楼主请指教，我用的是flume+kafka，就是把flume接收到的数据发送给kakfa，然后通过kafka的consumer程序打印接收到的数据，flume版本1.5，kafka版本0.10.0。现在的情况是：
1、用kafka的producer程序生产的消息，消费者可以接收到；
2、在telnet窗口，手动输入的信息，kafka消费者也能获取到；
3、通过程序，向flume端口发送的数据，kafka接收不到，比如通过HttpUrlConnect发送的内容是hello，则消费者接收的信息是：
value=POST / HTTP/1.1
value=Content-Type: application/x-www-form-urlencoded
value=Cache-Control: no-cache
value=Pragma: no-cache
value=User-Agent: Java/1.8.0_112
value=Host: 192.168.0.101:9093
value=Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2
value=Connection: keep-alive
value=Content-Length: 5
value=

请问楼主，用程序向flume发送数据，传递给kafka，发送数据部分，应该怎么处理？kafka消费者这边，应该怎么处理？
求指教，谢谢！！！

langke93 · 发表于 2017-5-15 21:04:13

wanghiu 发表于 2017-5-15 18:24
楼主请指教，我用的是flume+kafka，就是把flume接收到的数据发送给kakfa，然后通过kafka的consumer程序打印 ...

根配置有关系。可对比下面两个：是关于kafka与flume的整合及测试

about云日志分析项目准备8：Kafka集群安装

about云日志分析项目准备9：Flume安装和使用

wanghiu · 发表于 2017-5-18 17:04:09

langke93 发表于 2017-5-15 21:04
根配置有关系。可对比下面两个：是关于kafka与flume的整合及测试

about云日志分析项目准备8：Kafka集 ...

首先多谢您的回复，两个贴子我都看了，虽然没有我要的答案，但还是要感谢您。

1、首先，我这边通过telnet窗口，向flume监控的端口发送的数据，用程序和cousumer.sh都能正确接收；

2、通过HttUrlConnection,想flume端口发送的数据，kafka的consumer程序，只能接收到请求的头部，接收不到请求的正文部分。

这一点正是困扰我的地方，完全不知道该从哪里修改配置文件。