求问，三者区别？具体请看图

      红线的地方，三者具体位置的区别

这个就是压缩方式，楼主不如直接将你的疑问提取出来，这样更有针对性

tntzbzc 发表于 2015-6-1 11:20
这个就是压缩方式，楼主不如直接将你的疑问提取出来，这样更有针对性

我想问的是图片里画红线的地方，具体是在哪里执行，不太懂

a3087661 发表于 2015-6-1 11:25
我想问的是图片里画红线的地方，具体是在哪里执行，不太懂

1.输入的文件的压缩

如果输入的文件是压缩过的，那么在被MapReduce读取时，它们会被自动解压，根据文件扩展名来决定应该使用哪一个压缩解码器。

2.MapReduce作业的输出的压缩

如果要压缩MapReduce作业的输出，请在作业配置文件中将mapred.output.compress属性设置为true。将mapred.output.compression.codec属性设置为自己打算使用的压缩编码/解码器的类名。

如果为输出使用了一系列文件，可以设置mapred.output.compression.type属性来控制压缩类型，默认为RECORD，它压缩单独的记录。将它改为BLOCK，则可以压缩一组记录。由于它有更好的压缩比，所以推荐使用。

3.map作业输出结果的压缩

即使MapReduce应用使用非压缩的数据来读取和写入，我们也可以受益于压缩map阶段的中间输出。因为map作业的输出会被写入磁盘并通过网络传输到reducer节点，所以如果使用LZO之类的快速压缩，能得到更好的性能，因为传输的数据量大大减少了。以下代码显示了启用rnap输出压缩和设置压缩格式的配置属性。

[mw_shl_code=java,true]conf.setCompressMapOutput(true);
conf.setMapOutputCompressorClass(GzipCodec.class);[/mw_shl_code]