分享

《Hadoop权威指南》P20-P27 用Java编写MapReduce,统计气象数据的例子,谁看懂了问题

lovejunxia 发表于 2013-10-26 15:10:54 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 7931
《Hadoop权威指南(第2版)》
P20-P27 用Java编写MapReduce,
统计气象数据的例子,谁看懂了吗?

原始气象文件应该是多行的吧吗?
Mapper类中没有考虑多行的情况,是Hadoop自己解决了吗?

Mapper类中的输出数据应该是这样的:
    1950, 0
    1950, 22
    1950, -11
    1949, 111
    1949, 78
Reduce的输入数据是这样的:
    1949, 111 78
    1950, 0 22 -11
这个过程也是Hadoop自己解决了吗?
谢谢各位吗?

已有(4)人评论

跳转到指定楼层
poptang4 发表于 2013-10-26 15:10:54
恩,1个file分成N个split,1个split又被LineRecordReader分成key value传给Mapper
key是偏移量
value是文件中每一行的值
系统默认用的LineRecordReader
输出对应也有个LineRecordWriter
回复

使用道具 举报

einhep 发表于 2013-10-26 15:10:54
map到reduce之间还发生了啥
回复

使用道具 举报

lovejunxia 发表于 2013-10-26 15:10:54
回复 3# chenjian
   shuffle
回复

使用道具 举报

arsenduan 发表于 2013-10-26 15:10:54
shuffle and sort,后面还有较详细的描述。话说这本材料翻译得让人感觉毁了原著,如果lz英文可以,还是建议读英文原版吧,会清晰明了很多。另贴一个《Pro Hadoop》里面的MapReduce Model,描述很清晰的。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条