分享

Flume传入HDFS大文件变成小文件

大家好,第一次发帖,请多多支持。
公司正准备开始使用Hadoop,只是在试验中,所以现在研究Hadoop的只有我一个人,历经了千辛万苦终于将Hadoop集群安装好了,但是在Flume将数据源导入HDFS出现了错误,本来一个文件有大约70M,但是传入HDFS中变成了若干个小文件。,请大神们帮我看看这是怎么回事?我也是醉了、原来用的是memory,但是老是提示内存不足,所以只能用File模式。

`)K39A]@6T8Y_A{DTX6`4VN.png

S%U`~80~8N8JP$G9UUC4R]L.png

已有(3)人评论

跳转到指定楼层
qcbb001 发表于 2016-8-4 12:54:34
rollSize太大了。
rollInterval滚动时间可以尝试60 120 500等参数,文件应该有变化

回复

使用道具 举报

sunshaojie130 发表于 2016-8-4 14:56:17
qcbb001 发表于 2016-8-4 12:54
rollSize太大了。
rollInterval滚动时间可以尝试60 120 500等参数,文件应该有变化

你好,我把rollSize改小了,将rollInterval改成500,过然比原来强好多。。。。但是好像传的速度特别慢,该怎么样提升传输速度那。
回复

使用道具 举报

qcbb001 发表于 2016-8-6 13:09:10
sunshaojie130 发表于 2016-8-4 14:56
你好,我把rollSize改小了,将rollInterval改成500,过然比原来强好多。。。。但是好像传的速度特别慢, ...

flume有三种滚动方式。
1.按照时间
2.按照大小
3.按照count.
如果时间不合适。楼主可以按照大小来滚动,比如70M
rollsize=70M ,当然这里记得换算单位
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条