分享

flume的MorphlineSolrSink的配置方式

mjjian0 2014-6-18 16:34:42 发表于 疑问解答 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 10 25482
天上有et 发表于 2017-9-5 22:21:57
sstutu 发表于 2014-6-18 17:00
你直接更新文档就好了,比如下面:

利用SolrJ完成Index Document的添加操作

新人求教,没权限发帖,所以~  
我使用flume1.7,想实现将kafka中的数据传输到hdfs中,分别采用kafka source,file channal和hdfs sink。现在kafka中要求采用avro的文件格式,hdfs中要求为parquet文件格式。
我查阅了官方文档,有几点不明白:
1.我使用flume直接将avro格式的数据获取进来,应该不用再做特殊处理吧?
2.flume1.7中的hdfs文件格式支持 SequenceFile, DataStream 或 CompressedStream,我应该选择哪一种?需要二次开发转化成parquet格式吗?
谢谢啊!!


回复

使用道具 举报

12
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条