Spark的Master、Worker、Executor以及task等概念

xiaoxiao2021-02-28  75

1、先表结论,如下图所示:

2、文字说明:

每个Worker上存在一个或者多个ExecutorBackend 进程。每个进程包含一个Executor对象,该对象持有一个线程 池,每个线程可以执行一个task。 每个application包含一个 driver 和多个 executors,每个 executor里面运行的tasks都属于同一个application每个Worker上存在一个或者多个ExecutorBackend 进程。 每个进程包含一个Executor对象,该对象持有一个线程池,每个线程可以执行一个task。

转载请注明原文地址: https://www.6miu.com/read-49248.html

最新回复(0)