about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 23517|回复: 0

[收藏型] Hadoop YARN配置参数剖析(4)—Fair Scheduler、Capacity Scheduler相关参数

[复制链接]

432

主题

390

听众

243

收听

版主

Rank: 7Rank: 7Rank: 7

积分
4994
发表于 2013-12-11 17:12:35 | 显示全部楼层 |阅读模式
本帖最后由 pig2 于 2015-1-7 08:39 编辑
首先在yarn-site.xml中,将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。
Fair Scheduler的配置选项包括两部分,其中一部分在yarn-site.xml中,主要用于配置调度器级别的参数,另外一部分在一个自定义配置文件(默认是fair-scheduler.xml)中,主要用于配置各个队列的资源量、权重等信息。

1. 配置文件yarn-site.xml
(1) yarn.scheduler.fair.allocation.file :自定义XML配置文件所在位置,该文件主要用于描述各个队列的属性,比如资源量、权重等,具体配置格式将在后面介绍。
(2)  yarn.scheduler.fair.user-as-default-queue:当应用程序未指定队列名时,是否指定用户名作为应用程序所在的队列名。如果设置为false或者未设置,所有未知队列的应用程序将被提交到default队列中,默认值为true。
(3)  yarn.scheduler.fair.preemption:是否启用抢占机制,默认值是false。
(4)  yarn.scheduler.fair.sizebasedweight:在一个队列内部分配资源时,默认情况下,采用公平轮询的方法将资源分配各各个应用程序,而该参数则提供了另外一种资源分配方式:按照应用程序资源需求数目分配资源,即需求资源数量越多,分配的资源越多。默认情况下,该参数值为false。
(5)  yarn.scheduler.assignmultiple是否启动批量分配功能。当一个节点出现大量资源时,可以一次分配完成,也可以多次分配完成。默认情况下,该参数值为false。
(6)  yarn.scheduler.fair.max.assign:如果开启批量分配功能,可指定一次分配的container数目。默认情况下,该参数值为-1,表示不限制。
(7)  yarn.scheduler.fair.locality.threshold.node:当应用程序请求某个节点上资源时,它可以接受的可跳过的最大资源调度机会。当按照分配策略,可将一个节点上的资源分配给某个应用程序时,如果该节点不是应用程序期望的节点,可选择跳过该分配机会暂时将资源分配给其他应用程序,直到出现满足该应用程序需的节点资源出现。通常而言,一次心跳代表一次调度机会,而该参数则表示跳过调度机会占节点总数的比例,默认情况下,该值为-1.0,表示不跳过任何调度机会。
(8)  yarn.scheduler.fair.locality.threshold.rack:当应用程序请求某个机架上资源时,它可以接受的可跳过的最大资源调度机会。
(9)  yarn.scheduler.increment-allocation-mb:内存规整化单位,默认是1024,这意味着,如果一个Container请求资源是1.5GB,则将被调度器规整化为ceiling(1.5 GB / 1GB) * 1G=2GB。
(10)  yarn.scheduler.increment-allocation-vcores:虚拟CPU规整化单位,默认是1,含义与内存规整化单位类似。
2. 自定义配置文件
Fair Scheduler允许用户将队列信息专门放到一个配置文件(默认是fair-scheduler.xml),对于每个队列,管理员可配置以下几个选项:
(1)  minResources :最少资源保证量,设置格式为“X mb, Y vcores”,当一个队列的最少资源保证量未满足时,它将优先于其他同级队列获得资源,对于不同的调度策略(后面会详细介绍),最少资源保证量的含义不同,对于fair策略,则只考虑内存资源,即如果一个队列使用的内存资源超过了它的最少资源量,则认为它已得到了满足;对于drf策略,则考虑主资源使用的资源量,即如果一个队列的主资源量超过它的最少资源量,则认为它已得到了满足。
(2)  maxResources最多可以使用的资源量,fair scheduler会保证每个队列使用的资源量不会超过该队列的最多可使用资源量。
(3)  maxRunningApps最多同时运行的应用程序数目。通过限制该数目,可防止超量Map Task同时运行时产生的中间输出结果撑爆磁盘。
(4)  minSharePreemptionTimeout最小共享量抢占时间。如果一个资源池在该时间内使用的资源量一直低于最小资源量,则开始抢占资源。
(5)  schedulingMode/schedulingPolicy:队列采用的调度模式,可以是fifo、fair或者drf。
(6)  aclSubmitApps可向队列中提交应用程序的Linux用户或用户组列表,默认情况下为“*”,表示任何用户均可以向该队列提交应用程序。需要注意的是,该属性具有继承性,即子队列的列表会继承父队列的列表。配置该属性时,用户之间或用户组之间用“,”分割,用户和用户组之间用空格分割,比如“user1, user2 group1,group2”。
(7)  aclAdministerApps:该队列的管理员列表。一个队列的管理员可管理该队列中的资源和应用程序,比如可杀死任意应用程序。
管理员也可为单个用户添加maxRunningJobs属性限制其最多同时运行的应用程序数目。此外,管理员也可通过以下参数设置以上属性的默认值:
(1)  userMaxJobsDefault:用户的maxRunningJobs属性的默认值。
(2) defaultMinSharePreemptionTimeout :队列的minSharePreemptionTimeout属性的默认值。
(3)  defaultPoolSchedulingMode:队列的schedulingMode属性的默认值。
(4)  fairSharePreemptionTimeout:公平共享量抢占时间。如果一个资源池在该时间内使用资源量一直低于公平共享量的一半,则开始抢占资源。
】假设要为一个Hadoop集群设置三个队列queueA、queueB和queueC,其中,queueB和queueC为queueA的子队列,且规定普通用户最多可同时运行40个应用程序,但用户userA最多可同时运行400个应用程序,那么可在自定义配置文件中进行如下设置:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
<allocations>
  <queue name=”queueA”>
    <minResources>100 mb, 100 vcores</minResources>
    <maxResources>150 mb, 150 vcores</maxResources>
    <maxRunningApps>200</maxRunningApps>
    <minSharePreemptionTimeout>300</minSharePreemptionTimeout>
    <weight>1.0</weight>
    <queue name=”queueB”>
       <minResources>30 mb, 30 vcores</minResources>
       <maxResources>50 mb, 50 vcores</maxResources>
    </queue>
    <queue name=”queueC”>
      <minResources>50 mb, 50 vcores</minResources>
      <maxResources>50 mb, 50 vcores</maxResources>
    </queue>
  </queue>
  <user name=”userA”>
    <maxRunningApps>400</maxRunningApps>
  </user>
  <userMaxAppsDefault>40</userMaxAppsDefault>
  <fairSharePreemptionTimeout>6000</fairSharePreemptionTimeout>
</allocations>






Capacity Scheduler是YARN中默认的资源调度器。
想要了解Capacity Scheduler是什么,可阅读我的这篇文章“Hadoop Capacity Scheduler分析”
Capacity Scheduler的配置文件中,队列queueX的参数Y的配置名称为yarn.scheduler.capacity.queueX.Y,为了简单起见,我们记为Y,则每个队列可以配置的参数如下:
1.  资源分配相关参数
(1)  capacity:队列的资源容量(百分比)。 当系统非常繁忙时,应保证每个队列的容量得到满足,而如果每个队列应用程序较少,可将剩余资源共享给其他队列。注意,所有队列的容量之和应小于100。
(2)  maximum-capacity:队列的资源使用上限(百分比)。由于存在资源共享,因此一个队列使用的资源量可能超过其容量,而最多使用资源量可通过该参数限制。
m  minimum-user-limit-percent:每个用户最低资源保障(百分比)。任何时刻,一个队列中每个用户可使用的资源量均有一定的限制。当一个队列中同时运行多个用户的应用程序时中,每个用户的使用资源量在一个最小值和最大值之间浮动,其中,最小值取决于正在运行的应用程序数目,而最大值则由minimum-user-limit-percent决定。比如,假设minimum-user-limit-percent为25。当两个用户向该队列提交应用程序时,每个用户可使用资源量不能超过50%,如果三个用户提交应用程序,则每个用户可使用资源量不能超多33%,如果四个或者更多用户提交应用程序,则每个用户可用资源量不能超过25%。
(3)  user-limit-factor:每个用户最多可使用的资源量(百分比)。比如,假设该值为30,则任何时刻,每个用户使用的资源量不能超过该队列容量的30%。
2.  限制应用程序数目相关参数
(1)  maximum-applications :集群或者队列中同时处于等待和运行状态的应用程序数目上限,这是一个强限制,一旦集群中应用程序数目超过该上限,后续提交的应用程序将被拒绝,默认值为10000。所有队列的数目上限可通过参数yarn.scheduler.capacity.maximum-applications设置(可看做默认值),而单个队列可通过参数yarn.scheduler.capacity.<queue-path>.maximum-applications设置适合自己的值。
(2)  maximum-am-resource-percent:集群中用于运行应用程序ApplicationMaster的资源比例上限,该参数通常用于限制处于活动状态的应用程序数目。该参数类型为浮点型,默认是0.1,表示10%。所有队列的ApplicationMaster资源比例上限可通过参数yarn.scheduler.capacity. maximum-am-resource-percent设置(可看做默认值),而单个队列可通过参数yarn.scheduler.capacity.<queue-path>. maximum-am-resource-percent设置适合自己的值。
3.  队列访问和权限控制参数
(1)  state 队列状态可以为STOPPED或者RUNNING,如果一个队列处于STOPPED状态,用户不可以将应用程序提交到该队列或者它的子队列中,类似的,如果ROOT队列处于STOPPED状态,用户不可以向集群中提交应用程序,但正在运行的应用程序仍可以正常运行结束,以便队列可以优雅地退出。
(2)  acl_submit_applications:限定哪些Linux用户/用户组可向给定队列中提交应用程序。需要注意的是,该属性具有继承性,即如果一个用户可以向某个队列中提交应用程序,则它可以向它的所有子队列中提交应用程序。配置该属性时,用户之间或用户组之间用“,”分割,用户和用户组之间用空格分割,比如“user1, user2 group1,group2”。
(3)  acl_administer_queue:为队列指定一个管理员,该管理员可控制该队列的所有应用程序,比如杀死任意一个应用程序等。同样,该属性具有继承性,如果一个用户可以向某个队列中提交应用程序,则它可以向它的所有子队列中提交应用程序。
一个配置文件实例如下:
  1. <configuration>
  2.   <property>
  3.     <name>yarn.scheduler.capacity.maximum-applications</name>
  4.     <value>10000</value>
  5.     <description>最多可同时处于等待和运行状态的应用程序数目</description>
  6.   </property>

  7.   <property>
  8.     <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
  9.     <value>0.1</value>
  10.     <description>集群中可用于运行application master的资源比例上限,这通常用于限制并发运行的应用程序数目。</description>
  11.   </property>

  12.   <property>
  13.     <name>yarn.scheduler.capacity.root.queues</name>
  14.     <value>default</value>
  15.     <description>root队列的所有子队列,该实例中只有一个</description>
  16.   </property>

  17.   <property>
  18.     <name>yarn.scheduler.capacity.root.default.capacity</name>
  19.     <value>100</value>
  20.     <description>default队列的资源容量</description>
  21.   </property>

  22.   <property>
  23.     <name>yarn.scheduler.capacity.root.default.user-limit-factor</name>
  24.     <value>1</value>
  25.     <description>
  26.      每个用户可使用的资源限制
  27.     </description>
  28.   </property>

  29.   <property>
  30.     <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
  31.     <value>100</value>
  32.     <description>
  33.       Default队列可使用的资源上限.
  34.     </description>
  35.   </property>

  36.   <property>
  37.     <name>yarn.scheduler.capacity.root.default.state</name>
  38.     <value>RUNNING</value>
  39.     <description>
  40.      Default队列的状态,可以是RUNNING或者STOPPED.
  41.     </description>
  42.   </property>

  43.   <property>
  44.     <name>yarn.scheduler.capacity.root.default.acl_submit_applications</name>
  45.     <value>*</value>
  46.     <description>
  47.       限制哪些用户可向default队列中提交应用程序.
  48.     </description>
  49.   </property>

  50.   <property>
  51.     <name>yarn.scheduler.capacity.root.default.acl_administer_queue</name>
  52.     <value>*</value>
  53.     <description>
  54. 限制哪些用户可管理default队列中的应用程序,“*”表示任意用户
  55. </description>
  56.   </property>

  57.   <property>
  58.     <name>yarn.scheduler.capacity.node-locality-delay</name>
  59.     <value>-1</value>
  60.     <description>调度器尝试调度一个rack-local container之前,最多跳过的调度机会,通常而言,该值被设置成集群中机架数目,默认情况下为-1,表示不启用该功能。
  61.     </description>
  62.   </property>
  63. </configuration>
复制代码





欢迎加入about云群425860289432264021 ,云计算爱好者群,关注about云腾讯认证空间
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2018-10-17 00:29 , Processed in 0.340157 second(s), 30 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表