1. Capacity Scheduler 容量调度器简介

Capacity Scheduler是Hadoop的一个可插拔的调度组件，允许多租户安全地共享一个大型集群，以便在分配容量的约束下及时分配其应用程序的资源。

Capacity Scheduler被设计为以一种操作程序友好的方式将Hadoop应用程序作为共享的多租户集群运行，同时最大化集群的吞吐量和利用率。

传统分布式环境，每个组织都有自己的私有计算济源，这些计算资源集在峰值或接近峰值的情况下有足够的能力满足组织的SLA。在组织之间共享集群是运行大型Hadoop安装的一种经济有效的方式，因为这允许它们在不创建私有集群的情况下获得规模经济的好处。然而，组织关心共享集群，因为他们担心其他人使用对他们的SLA至关重要的资源。

跨组织共享群集需要对多租户提供强有力的支持，因为必须保证每个组织的容量和安全防护措施，以确保共享群集不受单个恶意应用程序或用户或其组的侵害。所述CapacityScheduler提供了一组严格的限制，以确保单个应用程序或用户或队列不能在集群中消耗的资源的量不成比例。另外，CapacityScheduler还限制了单个用户和队列中已初始化和待处理的应用程序，以确保集群的公平性和稳定性。

CapacityScheduler提供的主要抽象是队列的概念。这些队列通常由管理员设置，以反映共享群集的经济性。为了提供对资源共享的进一步控制和可预测性，CapacityScheduler支持*分层队列，*以确保在允许其他队列使用免费资源之前，在组织的子队列之间共享资源。

2. Capacity Scheduler特征

Capacity Scheduler支持以下特性:

分层队列 支持队列分层结构，以确保在允许其他队列使用空闲资源之前在组织的子队列之间共享资源，从而提供更多的控制和可预测性。
容量保证 从某种意义上说将为它们分配资源的意义上说，为队列分配了一部分网格容量。提交到队列的所有应用程序都可以访问分配给该队列的容量。管理员可以为分配给每个队列的容量配置软限制和可选的硬限制
安全性 每个队列都有严格的ACL，可控制哪些用户可以将应用程序提交到各个队列，此外，还有一些安全措施可确保用户无法查看和修改其他用户的应用程序。此外，还支持按队列和系统管理员角色。
弹性 可用资源可以分配给超出其容量的队列。当在将来的某个时间点运行于容量不足的队列中需要这些资源时，随着在这些资源上调度的任务完成，它们将被分配给在容量不足的队列中的应用程序（也支持抢占）。这样可以确保以可预测和灵活的方式将资源用于队列，从而防止集群中人为地浪费资源，从而有助于利用率。
多租户 提供了全面的限制集，以防止单个应用程序，用户和队列垄断队列或整个群集的资源，以确保群集不被淹没。
操作性
运行时配置-管理员可以在运行时安全地更改队列定义和属性（例如容量，ACL），以最大程度地减少对用户的干扰。此外，还为用户和管理员提供了一个控制台，以查看当前对系统中各种队列的资源分配。管理员可以在运行时添加其他队列，但是除非队列已停止并且没有挂起/正在运行的应用程序，否则无法在运行时删除队列。
耗尽应用程序 管理员可以在运行时停止队列，以确保在现有应用程序运行完毕时，不能提交新的应用程序。如果队列处于STOPPED状态，则无法将新应用程序提交给它自己或其任何子队列。现有的应用程序继续完成，因此，队列可以排出正常。管理员还可以启动已停止的队列。
基于资源的调度 支持资源密集型应用程序，其中应用程序可以选择指定比默认值更高的资源需求，从而适应具有不同资源要求的应用程序。当前，内存是支持的资源需求。
基于默认或用户定义的放置规则的队列映射界面 此功能允许用户根据某些默认放置规则将作业映射到特定队列。例如基于用户和组或应用程序名称。用户还可以定义自己的放置规则。
优先级计划 此功能允许以不同的优先级提交和计划应用程序。整数值越高，表示应用程序的优先级越高。当前，只有FIFO排序策略才支持应用程序优先级。
绝对资源配置 管理员可以为队列指定绝对资源，而不必提供基于百分比的值。这为管理员提供了更好的控制，以配置给定队列所需的资源量。
动态自动创建和叶队列的管理 该功能支持自动创建叶队列会同队列映射，其当前支持用户组应用放置到队列中的基于队列的映射。调度程序还基于在父队列上配置的策略，支持这些队列的容量管理。

3. Capacity Schedule配置

要配置ResourceManager使用Capacity Schedule，需要在yarn-site.xml中设置:

4. Capacity Schedule队列设置

etc/hadoop/capacity-scheduler.xml是CapacityScheduler的配置文件。所述CapacityScheduler有一个称为队列根。系统中的所有队列都是根队列的子级。通过配置yarn.scheduler.capacity.root.queues并使用逗号分隔的子队列列表来设置其他队列。

<property> 
  <name> yarn.scheduler.capacity.root.queues </ name> 
  <value> a，b，c </ value> 
  <description>此级别上的队列（root是根队列）。
  </ description> 
</property> 

<property> 
  <name> yarn.scheduler.capacity.root.a.queues </ name> 
  <value> a1，a2 </ value> 
  <description>此级别上的队列（root is the root queue）。
  </ description> 
</property> 

<property> 
  <name> yarn.scheduler.capacity.root.b.queues </ name> 
  <value> b1，b2，b3 </ value> 
  <description>此级别的队列（root is the root queue）。
</property> 

5. 队列属性

5.1 资源分配

5.2 绝对资源分配

CapacityScheduler支持绝对资源的配置，而不是按百分比提供队列容量。如上述配置部分中提到的yarn.scheduler.capacity。 .capacity和yarn.scheduler.capacity。 .max-capacity一样，管理员可以指定一个绝对资源值，例如[memory = 10240， vcores = 12]。这是有效的配置，指示10GB内存和12个VCore。

5.3 运行和等待应用程序限制

capacity调度器支持以下参数来控制运行和挂起的应用程序：

5.4 队列的管理和权限

一个访问控制列表的形式为用户1，用户2，空间 1组，第2组。

capacity scheduler支持以下参数来配置基于用户或组、用户&组或应用程序名称的队列映射。用户也可以定义自己的放置规则:

举例如下：

 <property>
   <name>yarn.scheduler.capacity.queue-mappings</name>
   <value>u:user1:queue1,g:group1:queue2,u:%user:%user,u:user2:%primary_group</value>
   <description>
     Here, <user1> is mapped to <queue1>, <group1> is mapped to <queue2>, 
     maps users to queues with the same name as user, <user2> is mapped 
     to queue name same as <primary group> respectively. The mappings will be 
     evaluated from left to right, and the first valid mapping will be used.
   </description>
 </property>

  <property>
    <name>yarn.scheduler.queue-placement-rules.app-name</name>
    <value>appName1:queue1,%application:%application</value>
    <description>
      Here, <appName1> is mapped to <queue1>, maps applications to queues with
      the same name as application respectively. The mappings will be
      evaluated from left to right, and the first valid mapping will be used.
    </description>
  </property>

5.5 应用程序的队列生命周期

5.6 设置应用优先级

应用程序优先级仅与FIFO排序策略一起使用。默认排序策略是FIFO。

应用程序的默认优先级可以在集群级别和队列级别：

集群级优先级：任何优先级大于cluster-max优先级的应都将重置为cluster-max优先级。$HADOOP_HOME/etc/hadoop/yarn-site.xml是集群最大优先级的配置文件。

**子队列级优先级：**每个子队列由管理员提供默认的优先级。队列的默认优先级将用于任何没有指定优先级的应用。$HADOOP_HOME/etc/hadoop/capacity-scheduler.xml是队列级优先级的配置文件。

5.7 数据局部性

Capacity Scheduler利用“ 延迟调度”来遵守任务局部性约束。有3个级别的位置限制：节点本地，机架本地和关闭交换机。当无法满足本地性时，调度程序会计算错过的机会的数量，并等待此计数达到阈值，然后再将本地性约束放宽到下一个级别。可以在以下属性中配置阈值：