Flume传入HDFS大文件变成小文件

查看数: 12065 | 评论数: 3 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2016-8-4 10:03

大家好，第一次发帖，请多多支持。公司正准备开始使用Hadoop，只是在试验中，所以现在研究Hadoop的只有我一个人，历经了千辛万苦终于将Hadoop集群安装好了，但是在Flume将数据源导入HDFS出现了错误，本来一个文件 ...

qcbb001 发表于 2016-8-6 13:09:10

sunshaojie130 发表于 2016-8-4 14:56
你好，我把rollSize改小了，将rollInterval改成500，过然比原来强好多。。。。但是好像传的速度特别慢， ...

flume有三种滚动方式。
1.按照时间
2.按照大小
3.按照count.
如果时间不合适。楼主可以按照大小来滚动，比如70M
rollsize=70M ，当然这里记得换算单位

sunshaojie130 发表于 2016-8-4 14:56:17

qcbb001 发表于 2016-8-4 12:54
rollSize太大了。
rollInterval滚动时间可以尝试60 120 500等参数，文件应该有变化

你好，我把rollSize改小了，将rollInterval改成500，过然比原来强好多。。。。但是好像传的速度特别慢，该怎么样提升传输速度那。

qcbb001 发表于 2016-8-4 12:54:34

rollSize太大了。
rollInterval滚动时间可以尝试60 120 500等参数，文件应该有变化

图文精华