SparkCore：Spark原理初探（执行流程图）

杨利霞

6 g5 q% \% ]9 m3 M: z9 X, y$ qSparkCore：Spark原理初探（执行流程图）
* y) }3 @& z) @' I6 r' D6 n6 U/ _  `基本概念
# Z! m. H& Q; Q- L" v3 Z2 d2 ^

/ H; o: N$ N3 X8 Y. }( c& U

# _0 t) p# n- @. e2 P

名词解释
6 i; j- Y. Y: F  k' MApplication：指的是用户编写的Spark应用程序/代码，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。
. x5 M: R1 h# t' U# ~+ X. _Driver：Spark中的Driver即运行上述Application的Main()函数并且创建SparkContext，SparkContext负责和ClusterManager通信，进行资源的申请、任务的分配和监控等
Cluster Manager：指的是在集群上获取资源的外部服务，Standalone模式下由Master负责，Yarn模式下ResourceManager负责;
Executor：是运行在工作节点Worker上的进程，负责运行任务，并为应用程序存储数据，是执行分区计算任务的进程；
RDD：Resilient Distributed Dataset弹性分布式数据集，是分布式内存的一个抽象概念；
DAG：Directed Acyclic Graph有向无环图，反映RDD之间的依赖关系和执行流程；
Job：作业，按照DAG执行就是一个作业；Job==DAG
) Q3 j: \$ a1 GStage：阶段，是作业的基本调度单位，同一个Stage中的Task可以并行执行，多个Task组成TaskSet任务集
Task：任务，运行在Executor上的工作单元，一个Task计算一个分区，包括pipline上的一系列操作
% I  u+ q* m. Y5 O& r  h" D基本流程
6 t6 n5 H, V- h2 G) l1 W9 d
Spark运行基本流程
2 c. h6 d6 _; k6 Y, V当一个Spark应用被提交时，首先需要为这个Spark Application构建基本的运行环境，即由任务控制节点(Driver)创建一个SparkContext，
7 u6 ~$ W4 u  S2 nSparkContext向资源管理器注册并申请运行Executor资源；
  ^& f; M/ {- ]2 L. {# n$ R资源管理器为Executor分配资源并启动Executor进程，Executor运行情况将随着心跳发送到资源管理器上；
& W/ o) {% a& t: ~1 bSparkContext根据RDD的依赖关系构建成DAG图，并提交给DAGScheduler进行解析划分成Stage，并把该Stage中的Task组成Taskset发送给TaskScheduler。
! o# E; u; k+ B: x* r) @, {TaskScheduler将Task发放给Executor运行，同时SparkContext将应用程序代码发放给Executor。
; f. P+ u& @, r( s: BExecutor将Task丢入到线程池中执行，把执行结果反馈给任务调度器，然后反馈给DAG调度器，运行完毕后写入数据并释放所有资源。
流程图解
: r* o0 x- U0 A  W2 m* y2 x- J2 N
% e, ]2 _: r- @" \2 }4 ~; `9 @, L
* D8 z6 A3 U8 ~2 _- h

# c+ b; J! Z3 L


* c* j1 }8 Y0 B; d( k0 x
! n9 i( ?3 l: h2 ~- _, Z2 U


5 t' d% z9 S& k( A& o6 z. N$ V
) U; s* ?) q" ^0 s  P  N
总结

' l) d" C. ?" k6 PSpark应用被提交–>SparkContext向资源管理器注册并申请资源–>启动Executor
  h) m: _# q+ h9 U& ERDD–>构建DAG–>DAGScheduler划分Stage形成TaskSet–>TaskScheduler提交Task–>Worker上的Executor执行Task

8 j! _$ \! O6 W————————————————
+ \8 S6 b) K% h) {# r版权声明：本文为CSDN博主「真情流露哦呦」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_43563705/article/details/105699268