分享

Mapreduce 整个工作机制图

 
lzw 发表于 2013-12-1 20:53:58 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 70 152995
刚才发现一张讲解mapreduce整个工作机制图,跟大家分享一下,大家发表一下建议,对mapreduce工作机制有何看法,或者那里有不清楚。mapreduce每一个工作阶段,对我们在工作中处理某种业务都是有很大帮助的。
3529146683_c8247ff6db_o.png

欢迎加入about云群9037177932227315139327136 ,云计算爱好者群,亦可关注about云腾讯认证空间||关注本站微信

已有(70)人评论

跳转到指定楼层
nettman 发表于 2014-6-3 12:19:14
旋风来袭 发表于 2014-6-3 11:27
很模糊,有高手可以整体解释一下这张图吗???



205347vyzpuuh8iq8i2i8z.png


图中1:表示待处理数据,比如日志,比如单词计数
图中2:表示map阶段,对他们split,然后送到不同分区
图中3:表示reduce阶段,对这些数据整合处理。
图中4:表示二次mapreduce,这个是mapreduce的链式,详细可以看让你真正明白什么是MapReduce组合式,迭代式,链式



回复

使用道具 举报

zmer 发表于 2015-9-17 01:02:02
两个node之间的交互其实是个抽象概念,不要纠结于这,先是几个node各自执行map阶段;执行完后,reducer所在的node去向执行map的节点抓取数据,然后执行reduce阶段,也就是shuffle过程。
回复

使用道具 举报

gxqlcx 发表于 2014-3-11 10:53:16
作为初学者,顶一下!!!!
回复

使用道具 举报

2322292960 发表于 2014-3-12 09:25:50
哈哈哈哈哈哈哈哈哈
回复

使用道具 举报

about_123 发表于 2014-3-18 19:35:18

作为初学者,顶一下!!!!
回复

使用道具 举报

9385047 发表于 2014-3-25 13:51:22
没怎么看明白,求高手可以详细解说一下
回复

使用道具 举报

冥月幻影 发表于 2014-5-24 23:45:06
还是有点不明白两台机之间是怎么协作的
回复

使用道具 举报

旋风来袭 发表于 2014-6-3 11:27:43
很模糊,有高手可以整体解释一下这张图吗???
回复

使用道具 举报

旋风来袭 发表于 2014-6-3 14:21:33
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条