关于 maxResources、maxAMShare 、NodeManagerResource 的经验分享

桃扇骨 2022-12-27 08:19 108阅读 0赞

### 文章目录 ###

*   *  Fair-Schedule.xml
     *   *  root 及父队列队列相关的配置
         *   *  maxResources
             *  maxAMShare
         *  叶子队列
         *   *  maxAMShare
     *  在 Yarn-site.xml 中的相关配置
     *   *  NodeManager Resource 配置
     *  Fair-Schedule.xml 配置模板

## Fair-Schedule.xml ##

### root 及父队列队列相关的配置 ###

#### maxResources ####

对于root队列的配置，重点关注root队列的 maxResources，如果 maxResources 的值配置的过小，可能会导致 Yarn 看上去还有资源，但是任务会处于Pending，分不到资源

<maxResources>1000000 mb,1000 vcores</maxResources>

#### maxAMShare ####

**注意** ：父队列的 maxAMShare 不生效，只有在子队列中配置的 maxAMShare 才生效。（代码中只有在子队列中有判断 AMShare 的逻辑）

### 叶子队列 ###

#### maxAMShare ####

maxAMShare 参数代表可以用来执行 AM 的资源占队列资源的比例

AM Max Resources = Instantaneous Fair Share *  maxAMShare

队列的 AM Used Resources 必须满足

AM Used Resources <= AM Max Resources

## 在 Yarn-site.xml 中的相关配置 ##

### NodeManager Resource 配置 ###

yarn.nodemanager.resource.memory-mb #NodeManager总的可用物理内存
    yarn.nodemanager.resource.cpu-vcores #NodeManager总的可用虚拟CPU个数

在配置/调整 NodeManager Resource 的时候，应同时关注 memory 和 vcore 这两个指标，推荐 memory : vcore 至少满足 1G:1 ,即1G内存对应1个Vcore，当机器内存充足时可适当增加内存。

> 在某些情况下，如果集群中的每台机器能分给 Yarn 的资源不一样时，切记要注意 NodeManager Resource 的配置，调整资源时 memory 和 Vcore 两个指标应同时调整，负责可能会出现，集群有足够的资源，但是每台节点能分配的资源不够，导致形成的碎片资源无法被利用

例如：集群有5个NodeManager，此时需要一个 `<memory:15G,vcore:15vcore>` 的container，则会申请不到资源，虽然当前集群还有 221G 的内存和 43 个Vcore，但由于都是资源碎片，无法被利用。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3OTY0Mzc5_size_16_color_FFFFFF_t_70]  
所以有既要考虑宏观又要考虑微观

## Fair-Schedule.xml 配置模板 ##

<?xml version="1.0" encoding="UTF-8" standalone="no"?><allocations>
    
    <queue name="root">
            <minResources>4096 mb,2 vcores</minResources>
            <maxResources>1000000 mb,1000 vcores</maxResources>
            <maxAMShare>0.1</maxAMShare>
            <weight>1.0</weight>
            <aclSubmitApps> </aclSubmitApps>
    
            <queue name="default">
                    <minResources>10000 mb,10 vcores</minResources>
                    <maxResources>100000 mb,100 vcores</maxResources>
                    <maxAMShare>0.1</maxAMShare>
                    <weight>1.0</weight>
                    <maxRunningApps>10</maxRunningApps>
                    <schedulingPolicy>FIFO</schedulingPolicy>
                    <aclSubmitApps>*</aclSubmitApps>
            </queue>
    
            <queue name="work">
                    <minResources>10000 mb,10 vcores</minResources>
                    <maxResources>400000 mb,100 vcores</maxResources>
                    <maxAMShare>0.1</maxAMShare>
                    <weight>1.0</weight>
                    <maxRunningApps>10</maxRunningApps>
                    <schedulingPolicy>FIFO</schedulingPolicy>
                    <aclSubmitApps>*</aclSubmitApps>
            </queue>
    </queue>
    <userMaxAppsDefault>100</userMaxAppsDefault>
    
    <queueMaxAppsDefault>100</queueMaxAppsDefault>
    
    <queueMaxAMShareDefault>0.1</queueMaxAMShareDefault>
    
    <defaultQueueSchedulingPolicy>fair</defaultQueueSchedulingPolicy>
    
    <queuePlacementPolicy>
            <rule create="false" name="specified"/>
            <rule create="false" name="user"/>
            <rule name="default"/>
    </queuePlacementPolicy>
    
    </allocations>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3OTY0Mzc5_size_16_color_FFFFFF_t_70]: /images/20221120/5d8b2804df8b43e3a11166a6e68eaf72.png