分享

深度了解mapreduce---MapReduce源码分析总结

pig2 发表于 2014-4-30 21:30:26 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 19 33818
hadoopnewcomer 发表于 2015-6-23 19:37:47
muyannian 发表于 2015-6-23 18:30
Job.jar的url可以下载Job.jar

恩恩   那个就是其实JobClient给JobTracker的仅仅是个url,然后JobTracker将这个url给TaskTracker.TaskTracker再去相应的HDFS的具体位置下载.jar,是这个过程吧??也就是说最终没有数据流过JobTracker吧

回复

使用道具 举报

xuanxufeng 发表于 2015-6-23 19:51:37
hadoopnewcomer 发表于 2015-6-23 19:37
恩恩   那个就是其实JobClient给JobTracker的仅仅是个url,然后JobTracker将这个url给TaskTracker.TaskTra ...

数据流是指下载吗?
应该的是的
回复

使用道具 举报

hadoopnewcomer 发表于 2015-6-23 20:11:09
xuanxufeng 发表于 2015-6-23 19:51
数据流是指下载吗?
应该的是的

这个数据流我指的就是比如说这个.jar文件还有关于这个job本身的配置文件等等...我是看第一个图分析的,感觉数据流不该流过JobTracker.要不然Jobtracker的负载太大了啊...本人非科班出身.只是对这个感兴趣.在不停地研究中
回复

使用道具 举报

xuanxufeng 发表于 2015-6-23 20:13:07
hadoopnewcomer 发表于 2015-6-23 20:11
这个数据流我指的就是比如说这个.jar文件还有关于这个job本身的配置文件等等...我是看第一个图分析的,感 ...

jobtracer主要负责任务分配。
目前有yarn了,jobtracer过时了
回复

使用道具 举报

1027420005 发表于 2015-6-24 09:15:26
太棒了。赞一个。么么哒。
回复

使用道具 举报

shanquan2006 发表于 2016-1-28 11:20:53
收藏下来慢慢看
回复

使用道具 举报

巅峰142斤 发表于 2016-1-29 08:46:15
唔。。要好好研究研究
回复

使用道具 举报

Adangge 发表于 2016-10-8 06:17:50
一口气看完!handoop中数据的流动不过如此了!大神 ich liebe dich!
回复

使用道具 举报

蓝月狼 发表于 2017-2-8 14:20:03
我比较想知道,hadoop2.x引入YARN后的处理过程的对比有啥变化

点评

推荐这个 Hadoop2.x 让你真正明白yarn http://www.aboutyun.com/forum.php?mod=viewthread&tid=20891  发表于 2017-2-8 14:22
回复

使用道具 举报

12
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条