Hadoop3 YARN集群中的磁盘I / O调度设计详解1【IO作为资源分配】

问题导读
1.磁盘IO实现共享，使用的是什么原理技术？
2.如何描述磁盘I / O资源？
3.磁盘I / O资源中的调度因素如何？
4.每个NodeManager如何执行每个本地任务的磁盘I / O资源使用？






1.背景
已经研究了Hadoop YARN中的资源共享和隔离技术实现了CPU和内存等资源。 任务（或容器）可以限制CPU核心的数量和允许使用的内存。 但是，YARN不支持I / O资源管理和隔离。 具有各种I / O需求的共同任务可能会相互竞争。 本文档重点介绍磁盘I / O资源调度，并提供I / O资源调度和隔离的解决方案。


建立可行的磁盘I / O资源调度机制是需要的。 不同任务有不同的磁盘I / O请求。 在两个无法完全满足两个请求的节点上一起调度两个磁盘I / O密集型任务将导致它们争夺I / O并相互减速。 另外，在不隔离磁盘I / O资源的情况下，YARN很难为I / O密集型任务提供稳定的性能。 例如，在I / O轻节点中调度I / O密集型任务可能比在I / O 重节点中运行得更快。

为了提供所需的磁盘I / O资源隔离，本文档介绍了磁盘I / O管理的公平共享机制。 每个任务都可以指定自己的磁盘I / O需求，调度程序可以保证分配给每个任务的I / O资源的数量。 这样可以缓解I / O资源竞争，确保一些优先级较高的任务（具有较高的I / O资源请求）不会被较低优先级的任务（具有较低的I / O资源请求）阻塞。


2.设计
本节主要讨论磁盘I / O调度的设计，包括：
（1）如何描述磁盘I / O资源？
（2）磁盘I / O资源中的调度因素如何？
（3）每个NodeManager如何执行每个本地任务的磁盘I / O资源使用？

2.1磁盘I / O资源描述
对于磁盘I / O资源描述，这里我们介绍一个额外的资源维度虚拟磁盘【vdisks】（virtual disks）现有的资源类型（CPU和内存）。 每个任务都可以根据自己的I / O请求，通过vdisks指定自己的磁盘I / O资源请求。 较大的vdisk意味着容器需要更多的磁盘I / O带宽。 默认的虚vdisks值设置为1，这意味着轻I / O。 请注意，vdisks不会暴露节点上的磁盘之间的异构性，这超出了本工作的范围。

2.2 调度
scheduler端的主要变化是将vdisks包括到DRF（Dominant Resource Fairness）策略中。 目前，调度器中的DRF支持cpu和内存。 我们还介绍了用户配置，以指定哪些资源应包含在DRF中。

2.3执行NodeManager
总之，我们想提供成比例的磁盘I / O公平共享。 可用磁盘I / O资源按比例方式在所有任务之间共享（vdisk值）。 我们使用Cgroups来实现这个解决方案。 在这里，我们首先说明Cgroup提供的函数，然后讨论实现细节。

Cgroups提供了一个名为blkio的子系统，它提供了两个策略来控制对磁盘I / O的访问：

●比例权重分配：实现在完全Fair队列I / O调度，此策略允许为特定的cgroup设置权重。 这意味着每个cgroup都有一个保留所有I / O操作的设置百分比（取决于cgroup的权重）。
●I / O限制（上限）：该策略用于设置特定设备执行的I / O操作数量的上限。 这意味着一个设备可以有一个有限的读取或写入操作。
我们使用比例权重分配策略，在所有的容器中提供加权公平分享。如果容器指定其磁盘I/O请求为p，则可以直接设置该容器的权重为p。

3.实现
3.1第一阶段
这里我们总结一下代码库的主要变化。

3.1.1磁盘I / O资源描述
简介：将磁盘I / O维度（vdisks）添加到资源请求。
在yarn_protos.proto中添加字段vdisks到ResourceProto
[mw_shl_code=bash,true]message ResourceProto {
optional int32 memory = 1;
optional int32 virtual_cores = 2;
+ optional int32 vdisks = 3;
}[/mw_shl_code]

添加字段到 org.apache.hadoop.yarn.api.records.Resource.
[mw_shl_code=bash,true]+ public abstract int getVdisks();
+ public abstract void setVdisks(int vdisks);[/mw_shl_code]

添加下面配置到org.apache.hadoop.yarn.conf.YarnConfiguration.
[mw_shl_code=bash,true]+ /** Number of virtual disk I/O resources which can be allocated for containers. */
+ public static final String NM_VDISKS = NM_PREFIX + “resource.vdisks”;
+ /** Minimum request grantable by the RM scheduler. */
+ public static final String RM_SCHEDULER_MINIMUM_ALLOCATION_VDISKS =
YARN_PREFIX + “scheduler.minimumallocationvdisks”
;
+ public static final String DEFAULT_RM_SCHEDULER_MINIMUM_ALLOCATION_VDISKS =
0;
+ /** Maximum request grantable by the RM scheduler. */
+ public static final String RM_SCHEDULER_MAXIMUM_ALLOCATION_VDISKS =
YARN_PREFIX + “scheduler.maximumallocationvdisks”
;
+ public static final String DEFAULT_RM_SCHEDULER_MAXIMUM_ALLOCATION_VDISKS =
20;[/mw_shl_code]

3.1.2调度变化
简介：调度方的主要变化包括（对于FairScheduler和CapacityScheduler）：
●配置调度程序是否执行磁盘I / O调度。 如果禁用，调度程序只能在内存和vcore上运行。
●将vdisks添加到DRF策略，DRF计算时配置包含哪些资源。
[mw_shl_code=bash,true]+ /** Enable vdisks scheduling or not. */
+ protected static final String VDISKS_SCHEDULING_ENABLED = CONF_PREFIX +
“vdisksschedulingenabled”
;
+ protected static final boolean DEFAULT_VDISKS_SCHEDULING_ENABLED = false;
+ /** Enable memory/vcores/vdisks in DRF or not. */
+ protected static final String DRF_MEMORY_ENABLED = CONF_PREFIX +
“drf.memory.enabled”;
+ protected static final boolean DEFAULT_DRF_MEMORY_ENABLED = true;
+ protected static final String DRF_VCORES_ENABLED = CONF_PREFIX +
“drf.vcores.enabled”;
+ protected static final boolean DEFAULT_DRF_VCORES_ENABLED = true;
+ protected static final String DRF_VDISKS_ENABLED = CONF_PREFIX +
“drf.vdisks.enabled”;
+ protected static final boolean DEFAULT_DRF_VDISKS_ENABLED = true;[/mw_shl_code]

3.1.3 NodeManager执行
简介：添加对NodeManager的支持，以执行每个任务的磁盘I / O资源使用情况。

3.1.3.1 准备
对org.apache.hadoop.yarn.server.nodemanager.util.CgroupsLCEResourcesHandler进行更改，挂载Cgroups路径包括blkio.

3.1.3.2 实例化新的Container
一般来说，每一个新的实例化Container c，在子系统blkio下创建一个新的cgroup。所有磁盘设备的cgroup权重设置为p。
[mw_shl_code=bash,true]mkdir /sys/fs/cgroup/blkio/C_ID
echo p > /sys/fs/cgroup/blkio/C_ID/blkio.weight[/mw_shl_code]
添加C的进程到cgroup的任务文件中。
[mw_shl_code=bash,true]echo C_PID > /sys/fs/cgroup/blkio/C_ID/tasks[/mw_shl_code]
一旦容器完成，删除创建的cgroup。

3.1第二阶段

缓冲写入隔离：目前，Cgroups的blkio子系统只能支持同步I / O队列，并且不能强制执行缓冲写入通信（缓冲读取正常），因为1所有缓冲写入都是系统范围的，而不是每个组/进程。 解决这个问题的正确方法是在内核中支持buffered-writes。 虽然我们只支持在阶段1中读取I / O流量执行，但对于具有大量重读BI工作负载的情况，仍然是可取的。

为了解决缓冲写入问题，一种方法是添加覆盖在本地文件系统之上的FUSE2包装器【wrapper】。 由于包装器【wrapper】可以看到所有I / O流量，因此可以轻松执行监视和速率限制来执行共享策略。

这个厉害，在多租户环境下非常有用，有时间测试下。感谢楼主大牛！