MapReduce中的内置排序是必须存在的？

类似单词统计,但是单词的长度可能比较长。输入数据比较大的话，排序是非常耗时的，所以能不能取消Shuffle自带的排序功能，因为单词统计用不到排序。

我尝试使用
job.setSortComparatorClass(SortComparator.class);[mw_shl_code=java,true]  public static class SortComparator extends WritableComparator{
        protected SortComparator(){
            super(Text.class, true);
        }

        @Override
        public int compare(WritableComparable a, WritableComparable b) {
            return 0;
        }
    }[/mw_shl_code]
但是ruduce后的结果只有一个，为什么呢？

默认排序都是在每个客户端的，楼主理解可能有误的地方。数据无论多大，只要分区合理，数据均匀。默认的shuffle都不是影响性能的主要原因。
建议楼主排查下其它问题。

感觉楼主的方向可能需要改改

s060403072 发表于 2016-3-6 22:20
默认排序都是在每个客户端的，楼主理解可能有误的地方。数据无论多大，只要分区合理，数据均匀。默认的shuf ...

我主要是想取消Shuffle内置排序功能，有什么参数可以设置？

jiangeng59 发表于 2016-3-6 22:22
我主要是想取消Shuffle内置排序功能，有什么参数可以设置？

整形是自动排序，其它不是。如果取消，好像没有见过这方面的参数配置。可能需要动源码了