hdfs对历史文件压缩

以前老脚本中hive作业没有对压缩做设置，而且都是textfile存储格式，为了节约资源，要对历史文件做压缩，一时间没好的办法

bioger_hit · 发表于 2016-5-16 19:23:19

压缩是比较成熟的技术，楼主可参考下面文章

HDFS支持数据压缩的几种方法探讨
http://www.aboutyun.com/forum.php?mod=viewthread&tid=4893

hdfs的透明压缩存储-百度
http://www.aboutyun.com/forum.php?mod=viewthread&tid=17890

讨论：HDFS Block压缩处理分析

http://www.aboutyun.com/forum.php?mod=viewthread&tid=4940

sstutu · 发表于 2016-5-16 19:27:11

历史数据压缩，只能是再次处理，可以通过mapreduce
Hadoop（11）MapReduce 文件处理：基于压缩的高效存储（一）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=15626

Hadoop（12）MapReduce 文件处理：基于压缩的高效存储（二）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=15629

对于当前数据，也可以开启压缩功能，
开启hadoop和Hbase集群的lzo压缩功能
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8349

一些压缩的实现
Hadoop的压缩算法实现和压缩算法选择
http://www.aboutyun.com/forum.php?mod=viewthread&tid=13576

hadoop深入研究:(九)---mapreduce中的压缩
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7246