分享

flume 如何采集gz 文件

jdayco 发表于 2016-1-7 12:27:39 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 19604
我的场景是这样的


有多个个接口机接收压缩过的gz日志文件,
目前想用flume来采集gz 数据文件。


gunzip -c xxxlog.gz|nc  localhost 7777

这种方式推送给flume,目前发现效率较低。一般10G文件要20分钟左右才能搞完。
并行开启多个nc 推送效率一样不怎么样.

有没大牛 有好的方案。

已有(3)人评论

跳转到指定楼层
zxmit 发表于 2016-1-7 14:37:07
启动多个agent会怎么样呢?
回复

使用道具 举报

atsky123 发表于 2016-1-7 15:02:09
flume还没发现这种源,除非自己写个试试
回复

使用道具 举报

morty 发表于 2020-4-16 15:04:14
楼主解决了没有,遇到一样的问题
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条