分享

mapreduce 分区输出多个文件

分区

分区

结果应该差不多大

结果应该差不多大

输入

输入


输入是key(STEP0,1)
value(4,angle)
输入底下还有STEP100和STEP200

想分区多文件输出
STEP0一个文件
STEP100一个文件
STEP200一个文件

但是 输出结果是

STEP0一个
STEP0和STEP100一个
STEP0和STEP100和STEP200一个

为什么?????????????????????????????????????????

已有(8)人评论

跳转到指定楼层
nextuser 发表于 2016-6-9 23:19:40
楼主可以自定义文件,至于为什么,楼主可以调试下。既然输出了,说明生成就是这么生成的。

自定义可以参考这个
如何修改(mapreduce)reduce执行后文件的文件名、目录等
http://www.aboutyun.com/thread-9711-1-1.html


回复

使用道具 举报

easthome001 发表于 2016-6-10 07:05:59
本帖最后由 easthome001 于 2016-6-10 07:10 编辑

楼主的描述很容易让人造成误解。
numPartitons这个参数的含义是什么?
楼主的分区多文件输出,分区是指什么?是否指对输出文件分类?比如分目录等

回复

使用道具 举报

qcbb001 发表于 2016-6-10 07:53:32
本帖最后由 qcbb001 于 2016-6-10 08:05 编辑

else 改成else if(如果是200)
楼主的备份数是几啊,取余可以去掉,然后直接返回1,2,3.看看是什么结果
回复

使用道具 举报

lanxueren121 发表于 2016-6-10 09:27:25
qcbb001 发表于 2016-6-10 07:53
else 改成else if(如果是200)
楼主的备份数是几啊,取余可以去掉,然后直接返回1,2,3.看看是什么结果

我试过了都不好使···
http://www.aboutyun.com/thread-7558-1-1.html
我参照的这个网址
回复

使用道具 举报

lanxueren121 发表于 2016-6-10 09:28:01
easthome001 发表于 2016-6-10 07:05
楼主的描述很容易让人造成误解。
numPartitons这个参数的含义是什么?
楼主的分区多文件输出,分区是指什 ...

http://www.aboutyun.com/thread-7558-1-1.html
大神,我参照的这个网址我做的一样可是就是不对
回复

使用道具 举报

lanxueren121 发表于 2016-6-10 09:28:57
nextuser 发表于 2016-6-9 23:19
楼主可以自定义文件,至于为什么,楼主可以调试下。既然输出了,说明生成就是这么生成的。

自定义可以参 ...

http://www.aboutyun.com/thread-7558-1-1.html
大神我参照的这个网址···一样的,她分的男女···
回复

使用道具 举报

easthome001 发表于 2016-6-10 12:28:42
lanxueren121 发表于 2016-6-10 09:28
http://www.aboutyun.com/thread-7558-1-1.html
大神我参照的这个网址···一样的,她分的男女···

这是分区函数重载,是map的输出,楼主查看的是reduce的输出,这是两码事的。

回复

使用道具 举报

lanxueren121 发表于 2016-6-10 17:05:16
easthome001 发表于 2016-6-10 12:28
这是分区函数重载,是map的输出,楼主查看的是reduce的输出,这是两码事的。

我解决啦~~谢谢~~~
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条