有没有人做过Hadoop2.2的监控系统

有没有人做过Hadoop2的监控系统？能不能提供点思路吧。。。

实现方式及目标：


web监控：
监控工具可以是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

管理组件：
支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

实现目标：

1.通过一步一步的安装向导简化了集群供应。
2.预先配置好关键的运维指标（metrics），可以直接查看Hadoop Core（HDFS和MapReduce）及相关项目（如HBase、Hive和HCatalog）是否健康。
3.支持作业与任务执行的可视化与分析，能够更好地查看依赖和性能。
4.通过一个完整的RESTful API把监控信息暴露出来，集成了现有的运维工具。
5.用户界面非常直观，用户可以轻松有效地查看信息并控制集群。
5.根据收集度量指标，支持系统报警，当需要引起管理员的关注时（比如，节点停机或磁盘剩余空间不足等问题），系统将向其发送邮件。
6.能够安装安全的Hadoop集群，实现了对Hadoop 安全的支持，提供了基于角色的用户认证、授权和审计功能。

上面是实现目标，这里具体说一下：

Hadoop集群的部署与管理系统HDMS,系统旨在自动化地部署Hadoop相关系统、管理集群

节点角色、修改配置参数、启动停止系统服务并监控系统运行状态。主要体现在以下四个方面：

(1)配置接口的设计与实现。通过提取Hadoop集群的可配置项,抽象

成键值对形式的参数化接口,集中存放在HDMS系统的管理节点上,为上层应用系统提供了直

观而方便的集群配置手段。

(2)集群部署模块的设计与实现。通过执行远程命令为节点部

署必要环境,主要包括部署网络环境、部署软件库、部署时间一致性服务、以及应用配置到节点等操作,为上层应用系统提供了统一的集群部署接口。

(3) Hadoop

组件模块的设计与实现。利用Puppet资源描述语言来管理集群资源,包括Hadoop相关组件的

软件包、配置文件和服务的启动停止。设计并实现了节点对于Hadoop服务的内存分配算法

以及Mapreduce任务槽的数量计算。

(4)安全模块和监控模块的设计与实现。
可以基于Puppet设计并实现Kerberos身份认证系统以及Ganglia集群监控系统的的部署和管理方案,并自动

化地修改Hadoop相关参数完成集成工作,为Hadoop集群提供了安全保障和监控手段。

你好，能不能告诉我，监控HDFS和MapReduce的实现策略？

下面是想到的需要实现的内容，你可以参考：
设计：
总体架构设计
配置接口框架设计
集群部署模块设计
Hadoop组件模块设计
安全模块设计
监控模块设计
HDMS系统负载均衡设计

实现：
集群部署模块的实现
部署网络环境的实现
部署时间一致性服务的实现
应用配置到节点的实现
与上层应用系统的交互实现
Hadoop组件模块的实现
总清单文件的实现
自定义函数的实现
模块资源管理的实现
模板文件的实现
安全模块的实现
监控模块的实现

pangge2007 发表于 2014-5-6 13:09
你好，能不能告诉我，监控HDFS和MapReduce的实现策略？

实现策略，需要自己研究代码，这里只是给你提供一些资料。
深度了解mapreduce---MapReduce源码分析总结

hadoop深入研究:(三)——hdfs数据流

hadoop二次开发必备

建议先从基本的做起，监控工具的实现，必须熟悉hadoop内部原理与实现，并且对
hadoop源码熟悉：
包括hadoop版本，hadoop文件，hadoop函数功能，如果说对这些hdfs会基本的编程，mapreduce还不熟悉的话，这个差距有点大。
如果缺乏上面的内容，基本上做监控工具不太可能。这比hadoop的mapreduce、hdfs编程，hadoop二次开发改造，更高一级的编程。

hyj 发表于 2014-5-6 13:25
实现策略，需要自己研究代码，这里只是给你提供一些资料。
深度了解mapreduce---MapReduce源码分析总结
...

好的，非常感谢。。。受益匪浅。。。