分享

求助 hadoop MapReduce-50070 页面,HDFS-50030 页面的集群信息怎么获取

zayliu1 发表于 2014-11-12 10:55:06 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 3 10912
求助 hadoop MapReduce-50070 页面,HDFS-50030 页面的集群信息怎么获取

想通过java api 获取 MapReduce-50070 页面 和  HDFS-50030 页面集群统计信息,

只在jmx接口中看到一些,java api上招了半天没找到,不知到这些统计信息在java api 的哪个包中的类上有提供访问的方法
还请各位大神指点。

如以下图中这些信息
如:
hdfs 的
heap size
DFS Used
QQ图片20141112103910.png

jobtrack 的
heap size 等
QQ图片20141112105332.jpg



已有(3)人评论

跳转到指定楼层
bioger_hit 发表于 2014-11-12 11:43:48
首先现在大数据云技术,又兴起了一种新技术,就是REST。在我们的Java编程中,有Java 编程,及Java  web编程。那么在hadoop中也是同样的道理,所以如果想通过页面获取信息,则需要研究hadoop REST  api

下面是一些资料,可以参考
Hadoop web初级:通过html调用hadoop WebHDFS REST API

hadoop、openstack web编程必读:什么是REST----RESTful架构起源及讲解


Hadoop web编程--REST API WebHDFS


【求助】Hadoop 1.0 的WebHDFS REST服务如何启动

回复

使用道具 举报

高帝斯法则 发表于 2014-11-12 13:46:59
看下DFSClient类的API有没有,没有的话就需要看下源码了
回复

使用道具 举报

desehawk 发表于 2014-11-12 23:30:45
高帝斯法则 发表于 2014-11-12 13:46
看下DFSClient类的API有没有,没有的话就需要看下源码了


官网都有的

比如你想获取任务的信息
可以通过Tasks API

task.png


比如想获取有哪些job。可以使用Jobs API

jobs api.png





更多api参考官网 rest  api

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条