分享

Flume1.5.0入门:安装、部署、及flume的案例

 
天上有et 发表于 2017-9-5 22:23:47
新人求教,没权限发帖,请见谅啊~~
  
我使用flume1.7,想实现将kafka中的数据传输到hdfs中,分别采用kafka source,file channal和hdfs sink。现在kafka中要求采用avro的文件格式,hdfs中要求为parquet文件格式。
我查阅了官方文档,有几点不明白:
1.我使用flume直接将avro格式的数据获取进来,应该不用再做特殊处理吧?
2.flume1.7中的hdfs文件格式支持 SequenceFile, DataStream 或 CompressedStream,我应该选择哪一种?需要二次开发转化成parquet格式吗?
谢谢啊!!
回复

使用道具 举报

jz1144185184 发表于 2017-9-19 11:49:36
您好,案例12    flume写到hbase遇到问题

提示Failed to commit transaction.Transaction rolled back

ERROR hbase.HBaseSink: Failed to commit transaction.Transaction rolled back.
java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.Put.setWriteToWAL(Z)V
        at org.apache.flume.sink.hbase.HBaseSink$3.run(HBaseSink.java:379)
        at org.apache.flume.sink.hbase.HBaseSink$3.run(HBaseSink.java:374)
        at org.apache.flume.sink.hbase.HBaseSink.runPrivileged(HBaseSink.java:427)
        at org.apache.flume.sink.hbase.HBaseSink.putEventsAndCommit(HBaseSink.java:374)
        at org.apache.flume.sink.hbase.HBaseSink.process(HBaseSink.java:344)
        at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:68)
        at org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:147)
        at java.lang.Thread.run(Thread.java:745)

希望得到您的回复。
回复

使用道具 举报

Nick_fZ1qq 发表于 2018-11-26 14:00:43
写的很棒,谢谢分享
回复

使用道具 举报

123456789
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条