分享

质询Haoop2监控Map和Reduce执行进度的方案?

pangge2007 发表于 2014-5-5 17:12:09 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 9474
各位大神,我这想做一个Hadoop的监控系统,主要实现Hadoop任务的监控,以及任务的执行进度,例如Map的总数、Map的执行进度、Reduce的总数、Reduce的执行进度等,
哪位大神指点一下实现的技术方案,让我有个学习查找资料的目标。。。

已有(3)人评论

跳转到指定楼层
howtodown 发表于 2014-5-5 17:35:33
1.mapz总数、执行进度等,这些hadoop都有相关接口,你直接调用就可以了。
2.那么剩下就是你需要研究代码与api,你可以先从研究shell开始,里面的api与通过Java操作原理是一样的。
3.里面的代码,你可以根据api文档与网络,应该会有所成果。
4.同时你可以研究一下hadoop cdh,看看他们是怎么搞,有些看看能否借鉴。
Apache Hadoop 2.2.0 API文档分享
http://www.aboutyun.com/thread-7428-1-1.html

回复

使用道具 举报

pangge2007 发表于 2014-5-6 08:44:42
howtodown 发表于 2014-5-5 17:35
1.mapz总数、执行进度等,这些hadoop都有相关接口,你直接调用就可以了。
2.那么剩下就是你需要研究代码与 ...

好的,谢了。。。
回复

使用道具 举报

pig2 发表于 2014-6-24 00:20:57
可以参考另外一个帖子【急、求助】Hadoop Job执行进度的百分比


  1. org.apache.hadoop.mapreduce.Job.mapProgress()
  2. org.apache.hadoop.mapreduce.Job.reduceProgress()
  3. http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapreduce/Job.html
复制代码



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条