About云-梭伦科技»专题 › 交流区 › 技术交流 › Flume › flume 的kafkachannel问题数据解析的问题

flume 的kafkachannel问题数据解析的问题

查看数: 16487 | 评论数: 4 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

帖子模式

pq2527991

发布时间: 2016-9-20 10:05

正文摘要:

如果以kafka做为flume的channel ，当我自己写程序消费里面的数据时，数据出现了乱码，当我用loggerSink 读取时，数据是这样的想问下各位有试过怎么把从kafka读取kafkachannel 的数据解析出来或者重新封装成E ...

pq2527991 发表于 2016-9-23 09:42:24

数据需要解析，因为分两条路的，这个解决了，按照flume源码将kafka里的数据重封装会Event，然后取其中的body就ok了

arsenduan 发表于 2016-9-20 15:40:12

本帖最后由 arsenduan 于 2016-9-20 15:41 编辑

既然使用flume不需要自己取数据的。可以配置下sink，通过flume传递到你想传递的位置

langke93 发表于 2016-9-20 15:04:35

pq2527991 发表于 2016-9-20 10:07
那两个图没显示出来，一个是
SinkRunner-PollingRunner-DefaultSinkProcessor) Event: { he
aders:{test ...

尝试kafka consumer
存储的数据，直接取可能会存在问题，比如楼主直接查看hdfs文件，应该也存在问题

pq2527991 发表于 2016-9-20 10:07:49

那两个图没显示出来，一个是
SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { he
aders:{testkey=3333} body: 33 33 33 33 3333 }
另外一个是 testkey22dsds3434

图文精华

flume 的kafkachannel问题数据解析的问题

正文摘要:

回复

推荐 /2

图文精华

flume 的kafkachannel问题 数据解析的问题

正文摘要:

回复

推荐 /2

flume 的kafkachannel问题数据解析的问题