hadoop的两种方式调度任务

xiaoxiao2021-02-28  4

调度器

    概念:调度器队列的方式来管理job,队列内部通过某种机制实现job的运行。

    原理:每一种调度器中可以有对个队列,但是所有的队列必须在”root”下面root.root,hadoop默认的队列是root.default。

1、容量调度

    APACHE:容量调度

    名称:capacity.CapacityScheduler

    概念:根据当前队列的任务个数与分配资源的比值,选择较小的一个。

    策略:默认是FIFO(先进先出),会考虑用户资源和内存的限制,可以自己指定提交到某一个队列

2、公平调度

    CDH:公平调度

    名称:fair.FairScheduler

    概念:所有的job队列平分资源。

    策略:job1进入队列->获取该队列的所有资源->等到job2进入->重新平分资源->所有的资源都被平分,限制每个队列job提交个数。

    内部队列的调度还是fair,所有的job不能再”root”中运行,必须在叶子节点运行

转载请注明原文地址: https://www.6miu.com/read-2400171.html

最新回复(0)