分享

请问下,conf.setNumReduceTasks(2);怎么输出的还是一个文件呢,不应个是2个吗

w123aw 发表于 2013-11-15 01:37:55 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 16546
请问下,conf.setNumReduceTasks(2);怎么输出的还是一个文件呢,不应个是2个吗
我的两个reduce,不应该是最后有两个reduce输出的文件吗?但是和conf.setNumReduceTasks(1);的结果一样的
这是为什么?

已有(1)人评论

跳转到指定楼层
pig2 发表于 2013-11-15 01:39:48
你是一个datanode吧,一个datanode可以启动一个reducer,因为reduce默认是要在map全部结束后立即启动,所以其实你就只有一个reduce跑起来了。1个datanode上是可以跑多个task,task是一个reducer在处理的时候多线程处理。所以结果是这样的。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条