分享

MapReduce里面自定义的InputFormat重写isSplitable()

isSplitable()方法是干啥的 FileInputFormat 里面isSplitable() 默认返回的true  但是他的子类诸如  TextInputFormat  CombineFileInputFormat  KeyValueTextInputFormat 都重写了isSplitable() 方法  他这一步到底在干啥????????????????????????????????
具体如下:
final CompressionCodec codec =
      new CompressionCodecFactory(context.getConfiguration()).getCodec(file);
    if (null == codec) {
      return true;
    }
    return codec instanceof SplittableCompressionCodec;

已有(1)人评论

跳转到指定楼层
s060403072 发表于 2018-11-22 20:06:34
FileInputFormat用isSplitable方法来指定对应的文件是否支持数据的切分,默认情况下都是支持的,也就是true
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条