请问在写mapreduce时，如何将两个文件合并

请问在写mapreduce时，如何将两个文件合并，其中a文件中有字段name ip tel ，b文件中有字段name age address。将两个文件中相同姓名的不同字段合并成一个大文件

hyj · 发表于 2014-6-26 21:56:41

name为key
其他字段为value
就可以了

NEOGX · 发表于 2014-6-26 21:57:38

这种方式不知道在reduce中怎么将这些字段合并
在reduce中怎么判断name是否相同，因为一次reduce只可以获取一条记录，无法进行两条记录比较

hyj · 发表于 2014-6-26 21:59:55

本帖最后由 hyj 于 2014-6-26 22:56 编辑
map会分别解析
name1 ip1 tel1 = > key 为name1 value为ip1 tel1
name1 age1 address1 = > key 为name1 value为age1 address1
reduce输入为
name1 [ip1 tel1; age1 address1]

map的时候，key一样的

reduce的时候，拿到的是个list

同一个名字会被自动统计。
可以看看wordcount，如果单词相同，则被统计一次原理是相同的

我也是猫啦啦啦 · 发表于 2017-8-20 02:14:54

楼主想问的是怎么把两个文件join到一起吧。。。重点是如何在一个mapreduce输入两个文件

图文精华

请问在写mapreduce时，如何将两个文件合并

已有(4)人评论

推荐 /2