分享

如何求一个分店的附件一百米所有的分店ID

foreverfeng168 发表于 2015-9-1 18:40:59 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 9459
最近在做一个需求,数据源:全国分店信息表(分店ID,省市),需要求出全国每个分店附件一百米的分店列表,两个分店的距离通过距离公式来计算,请问如何使用MapReduce来实现这个程序?

已有(2)人评论

跳转到指定楼层
arsenduan 发表于 2015-9-1 21:07:16
思路跟传统一样的,只不过套上了mapreduce框架。

首先需要提供原始数据。
然后map里面分割文件
reduce里面把被分配的数据里面,求每一个分店附近的100附近的所有分店。

比如
reduce里被分配的数据为

A-》B 100
A-》C 100
B-》C 100

那么
A找到了
A附近是B与C

B附近是A与C
这里可以通过reduce左连接即可实现或则把这个内容放到map里面

也就是通过mapreduce的左连或则右连就能解决了

相关资料:
Hadoop MapReduce Join实现
http://www.aboutyun.com/thread-5867-1-1.html


hadoop mapreduce join原理、方法讲解
http://www.aboutyun.com/thread-12054-1-1.html


hadoop mapreduce join代码示例及讲解
http://www.aboutyun.com/thread-12055-1-1.html


最新100份开源大数据架构论文之61:mapreduce join
http://www.aboutyun.com/thread-14398-1-1.html






回复

使用道具 举报

foreverfeng168 发表于 2015-9-6 09:42:45
因为是第一次用MapReduce进行开发,能否把 Map的输出key,value 和reduce的 key,value,应该为哪些内容?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条