Flume按文件的方式导入hdfs的问题

muyannian 发表于 2014-11-4 11:46
本帖最后由 muyannian 于 2014-11-4 11:48 编辑

找到个资料，但是对flume不熟悉，你看看是否对你有帮助 ...

文档我也有，谢谢。

wjhdtx 发表于 2014-11-4 12:59
谢谢各位的回复，各位的我一会再看，先说下我的测试结果，换了种测试方法，找到了原因：

flume看来还不怎么成熟，参数都应该是配置的。
对于jvm我倒也遇到过相同的问题，设置足够大就可以了。
你看看是不是其它因素造成的这个结果

问题解决了，虚拟机环境上传2G的日志没问题，先这样了，分享下最后的配置文件：

wjhdtx 发表于 2014-11-4 17:50
问题解决了，虚拟机环境上传2G的日志没问题，先这样了，分享下最后的配置文件：

hdfs.rollSize 设置为3G了

howtodown 发表于 2014-11-4 17:30
flume看来还不怎么成熟，参数都应该是配置的。
对于jvm我倒也遇到过相同的问题，设置足够大就可以了。
...

我觉得是这样：

1. 对于图片、视频、音频等blob对象，应该使用BlobDeserializer来处理，一般不是特别大，到不了2g，到了就象你说的加大jvm堆大小

2. 对于文本文件比如日志等来说，还是使用LineDeserializer来处理，可以支持大的量

3. 个人觉得flume足够灵活，但是灵活的让人疯狂，如果有基于flume二次解决方案的简单封装，那就爽了：）

很不错的文档。分享学习了

集思广益，学习了~~~~

学习了~~~~~~~~

解决问题的过程不错

希望大家在一起解决问题啊,共同进步