about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 14172|回复: 1

[连载型] hadoop入门:第六章YARN文档概述

[复制链接]
发表于 2016-2-16 19:47:54 | 显示全部楼层 |阅读模式




1.YARN 结构


文档简介:
Yarn的基本思想是拆分资源管理的功能,作业调度/监控到单独的守护进程

yarn_architecture.gif

英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YARN.html


2.Hadoop: Capacity 调度

文档简介
本文档介绍了capacityscheduler,hadoop可插拔scheduler 允许多租户安全共享大的集群,他们的应用在分配的能力约束下及时分配资源。

英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

3.Hadoop: Fair 调度

文档简介
这个文档描述了FairScheduler,hadoop可插拔scheduler允许yarn应用fairly共享资源在大集群。


英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/FairScheduler.html

###########################
上面两个文档详细介绍了hadoop调度方式


4.ResourceManger 重启


文档简介
ResourceManager 是中央权威,管理资源和调度应用运行YARN 。因此,潜在单点故障在YARN 集群。本文给出了概述,重启ResourceManager,一个功能提高ResourceManager 保持运行,对于终端用户使ResourceManager宕机时间不可见。

英文网址
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html



5.ResourceManager 高可用

文档简介
本指南提供了Yarn的ResourceManager高可用性概述,和详细描述了如何配置和使用这个功能。ResourceManager(RM)负责跟踪资源集群,和调度应用(等MapReduce jobs)。Hadoop 2.4之前,YARN 集群有单点故障。这个高可用功能添加冗余在一个Active/Standby ResourceManager 队的形式,移除这个,否则就是单点故障。

结构:
rm-ha-overview.png

英文网址
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html



6.YARN 节点Labels

文档简介
节点标签是一种具有相似特性的组节点的方式,应用程序可以指定运行的地方。


英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/NodeLabel.html


7.Web 应用代理

文档简介
web应用代理是Yarn一部分。默认它运行作为 Resource Manager(RM)一部分,但是可以被配置为运行单机模式

英文网络:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/WebApplicationProxy.html




8.YARN Timeline Server

文档简介
存储和检索当前应用和历史信息以通用的方式在Yarn处理,通过 Timeline Server

英文网址
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/TimelineServer.html




9.Hadoop: Writing YARN 应用

文档简介
本文档描述了一个高层次的方法来实现Yarn的新应用。

英文网址
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html

10.YARN 命令

文档简介
YARN 命令被bin/yarn脚本调用。运行yarn 没有任何脚本,打印所有命令描述

英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YarnCommands.html

11.NodeManager 重启

文档简介
本文给出了nodemanager概述(nm)重启,一个功能,启用NodeManager,重启不会丢失激活的运行在节点的containers。在高水平,NM 存储任何需要的状态在本地状态存储,因为它处理容器管理需求。当NM 重启,它首先恢复加载各个子系统状态和然后让这些子系统执行恢复使用加载状态。

英文网址:

http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/NodeManagerRestart.html


12.Docker Container Executor

文档简介
Docker 包括易于使用的接口与Linux容器使用易于构建镜像文件为这些容器。总之,Docker 是一个很轻的虚拟机。
Docker Container Executor (DCE) 允许 YARN NodeManager启动Yarn容器到Docker 容器。用户可以指定Docker 镜像,他们想要他们的Yarn容器。这些容器提供定制的软件环境,软件环境中用户代码运行,隔离NodeManager软件环境。这些容器可以包含应用程序所需要的特殊库,和安装在NodeManager的软件,有不同版本的 Perl, Python,和甚至Java 。确实,这些容器可以运行不同的Linux flavor 比运行在NodeManager 的,尽管如此,YARN container 必须定义运行job所需要的所有的环境和libraries ,不会与NodeManager共享。

YARN Docker 提供二者一致性(所有YARN 容器将会有相同的软件环境)和隔离(与物理机安装不会发生冲突)

英文网址
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/DockerContainerExecutor.html



13.使用YARN的CGroups  

文档简介
CGroups 是一种聚集/划分任务组的机制
CGroups 是一个Linux内核的功能,并入内核版本2.6.24。从Yarn的角度,这允许容器限制他们的资源使用。
一个很好的例子就是CPU 的使用。没有CGroups,它变的很难限制容器CPU的使用。当前,CGroups 仅用于限制CPU使用。
英文网址
http://hadoop.apache.org/docs/r2 ... ManagerCgroups.html

14.Yarn安全容器

文档简介
一个安全的集群中的Yarn容器使用操作系统设备为容器提供执行隔离。安全容器执行在job用户凭据下。操作系统强制访问容器的限制。容器必须运行使用提交应用程序。
安全的容器只在有安全的Yarn的背景下工作。

英文网址
http://hadoop.apache.org/docs/r2 ... ecureContainer.html

15.YARN Service 注册

服务注册是一种服务,可以部署在Hadoop集群,允许部署的应用程序注册自己的方式与他们通信。客户端应用程序可以使用绑定信息 连接网络访问端点,他们REST, IPC, Web UI, Zookeeper quorum+path或则其它协议

英文网址
http://hadoop.apache.org/docs/r2 ... registry/index.html








相关文章

hadoop入门-第一章General:第一节单节点伪分布

hadoop入门-第一章General:第二节集群配置

hadoop入门-第一章General:第三节Hadoop初级入门之命令指南

hadoop入门-第一章General:第四节文件系统shell

hadoop入门-第一章General:第五节hadoop的兼容性说明

hadoop入门-第一章General:第六节开发人员和用户接口指南:hadoop接口分类

hadoop入门-第一章General:第七节Hadoop 文件系统 API :概述

hadoop入门-第二章common:第一节hadoop 本地库 指南

hadoop入门-第二章common:第二节hadoop代理用户 -超级用户代理其它用户

hadoop入门-第二章common:第三节机架智能感知

hadoop入门-第二章common:第四节安全模式说明

hadoop入门-第二章common:第五节服务级别授权指南

hadoop入门-第二章common:第六节Hadoop HTTP web-consoles认证机制

hadoop入门-第二章common:第七节Hadoop Key管理服务器(KMS) - 文档集

hadoop入门:第三章HDFS文档概述(一)

hadoop入门:第三章HDFS文档概述(二)

hadoop入门:第四章mapreduce文档概述

hadoop入门:第五章MapReduce REST APIs文档概述

hadoop入门:第六章YARN文档概述

hadoop入门:第七章YARN REST APIs

hadoop入门:第八章hadoop兼容文件系统

hadoop入门:第九章hadoop认证

hadoop入门:第十章hadoop工具

hadoop入门:第十一章hadoop配置




您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /3 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2018-12-16 19:01 , Processed in 0.536828 second(s), 34 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表