分享

MapReduce监控(跟踪)视图

sq331335144 发表于 2013-10-26 15:16:22 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 8683
本帖最后由 hadoopor 于 2009-12-1 10:00 编辑
JobTracker.JobInProcess
用于监控一个Job的调度情况。一个Job会被分解成N个Tasks,这些Tasks被分配到集群中的TaskTracer节点,由TaskTracer节点去运行这些Tasks。
JobTracker.TaskInProcess
当JobTracker分解Job为N个Tasks后,每个Tasks都运用一个JobTracker.TaskInProcess对象来跟踪。
JobTracker.JobInProcessListener
MapReduce同时可以接受多个Job,所有的Job都会存入到JobInProcessListener中,由它来管理所有的Job。
TaskTracker.TaskInProcess
当一个Task被分配到TaskTracker节点后,TaskTracker节点本身也需要跟踪这个Task的运行,TaskTracker.TaskInProcess对象就是用来干这个的。
[color=]请注意在上图中有两个TaskInProcess,但分别隶属于JobTracker和TaskTracker,两者是不同的,但都是用来跟踪Tasks的。

已有(5)人评论

跳转到指定楼层
top_gloria 发表于 2013-10-26 15:16:22
0.20.1版本开始是不是org.apache.hadoop.mapred包已经全部被org.apache.hadoop.mapreduce包替换掉了吗?
回复

使用道具 举报

leo_1989 发表于 2013-10-26 15:16:22
在最新版本,mapred仍存在,短时间内难以废除,而且还要照顾0.20.x之前的兼容性。
回复

使用道具 举报

oChengZi1234 发表于 2013-10-26 15:16:22
感觉新包旧包一起用有些混乱。。。
回复

使用道具 举报

poptang4 发表于 2013-10-26 15:16:22
是很混乱,随着规模的膨胀,感觉Hadoop越来越乱了,估计是缺少整体上的规划和设计造成的,想到一点改一点,很敏捷。
回复

使用道具 举报

mituan2008 发表于 2013-10-26 15:16:22
嗯,最近正在研究他,有时候乱的就不知道咋弄了。。。复杂呀!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条