立即注册 登录
About云-梭伦科技 返回首页

gefieder的个人空间 https://www.aboutyun.com/?18 [收藏] [复制] [分享] [RSS]

日志

Hadoop中NullWritable不能乱用

热度 1已有 1477 次阅读2014-12-18 13:37

在hadoop 0.20.2版本中，各位有没有想过为什么wordcount实例 ， map输出的value不用 NullWritalbe ? 实际上value 其实就起到了一个占位的作用。于是我自作聪明地改写了程序，把map的输出改成了NullWritable，结果发现在shuffle的过程中，并没有达到相同的key合并的效果。
具体原因有待进一步查明

路过
雷人
握手
鲜花
鸡蛋
收藏 分享邀请 举报

全部作者的其他最新日志

发表评论 评论 (3 个评论)

回复 songyl525 2014-12-28 20:48
NullWritalbe，其实就是null，在shuffle的时候是不进行运算的
回复 songyl525 2014-12-28 20:49
应该是这样吧
回复 gefieder 2014-12-29 10:28
songyl525: NullWritalbe，其实就是null，在shuffle的时候是不进行运算的
说的有道理

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000