QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 1447|回复: 0
打印 上一主题 下一主题

SparkCore:Spark原理初探(执行流程图)

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2020-4-24 18:08 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta

    4 O/ g" @6 c8 w0 B+ m7 R: tSparkCore:Spark原理初探(执行流程图)
    1 l, Z1 a2 d% F6 P基本概念' I% x5 T! m& |2 O: r3 [
    ; f8 e: d7 g1 F' f9 j

    2 \: W) b" X" S4 L, S+ {9 X9 G 2.png
    " v' M/ Y1 P  H  ?  o- ]; R
    $ U6 V5 L9 E7 L, L0 a+ @3 { 3.png 9 I4 o* A: {4 l1 [- g

    ! B4 v3 h7 N" Y& e* b5 O名词解释4 P7 K+ D2 T/ V: u  n# t0 l* n
    Application:指的是用户编写的Spark应用程序/代码,包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。
    1 Z6 Y/ h  S- ^) L% @' V9 C1 H5 lDriver:Spark中的Driver即运行上述Application的Main()函数并且创建SparkContext,SparkContext负责和ClusterManager通信,进行资源的申请、任务的分配和监控等
    4 d. L/ V* [. f5 G  @! ]$ LCluster Manager:指的是在集群上获取资源的外部服务,Standalone模式下由Master负责,Yarn模式下ResourceManager负责;3 _! g# T( I* j" P$ H* Z
    Executor:是运行在工作节点Worker上的进程,负责运行任务,并为应用程序存储数据,是执行分区计算任务的进程;) ]  F" D  M" V% s: x3 S
    RDD:Resilient Distributed Dataset弹性分布式数据集,是分布式内存的一个抽象概念;
    5 p4 A3 F8 o0 zDAG:Directed Acyclic Graph有向无环图,反映RDD之间的依赖关系和执行流程;) C# L  z  }8 b; R, ~: s* K
    Job:作业,按照DAG执行就是一个作业;Job==DAG
    # r: l! D/ {. j8 T0 JStage:阶段,是作业的基本调度单位,同一个Stage中的Task可以并行执行,多个Task组成TaskSet任务集
    ; W6 F, r1 Q5 K" h% [: x9 ^Task:任务,运行在Executor上的工作单元,一个Task计算一个分区,包括pipline上的一系列操作
    , P( b3 Y! Y; I6 M4 i0 N基本流程5 q0 a$ `: r) v
    % @' x0 k) L0 G8 Z" E9 B+ G
    Spark运行基本流程3 ]9 x4 l' r. {, A7 L& |
    当一个Spark应用被提交时,首先需要为这个Spark Application构建基本的运行环境,即由任务控制节点(Driver)创建一个SparkContext,
    8 O0 H, Z  A. `( P, uSparkContext向资源管理器注册并申请运行Executor资源;! L" b. @- M  T
    资源管理器为Executor分配资源并启动Executor进程,Executor运行情况将随着心跳发送到资源管理器上;% J2 A1 @; j( D8 o; J
    SparkContext根据RDD的依赖关系构建成DAG图,并提交给DAGScheduler进行解析划分成Stage,并把该Stage中的Task组成Taskset发送给TaskScheduler。
      K+ l; Y; e  j/ U* ^9 sTaskScheduler将Task发放给Executor运行,同时SparkContext将应用程序代码发放给Executor。
    # X* O6 U! Y; e1 u( BExecutor将Task丢入到线程池中执行,把执行结果反馈给任务调度器,然后反馈给DAG调度器,运行完毕后写入数据并释放所有资源。" r! |) z! S% m, k9 V
    流程图解
    ) T, X6 ~( R3 ^* Q/ z6 \; G) M' j) N0 V5 g0 j  M
    4.png
    % G& y, i7 w3 `7 @# x  \4 y3 e
    $ g; Z/ f, \, [- c- ~1 J 5.png
    ; P, O6 I1 j; a$ J9 a+ O- |3 j
    % a; P" ~. I9 ?: m* P4 y$ } 6.png
    2 ~/ [3 H. v1 p9 O, X
    & |+ A& {% i5 j 7.png ; n" }" T* x! e. x9 r
    6 g/ K" r7 _; n/ l: H
    8.png
    * d9 e* e9 R# z( S8 G2 Z
    % m. t8 _5 u. [8 x5 d
    % c8 l/ X" D" U- w- y2 {9 ]! J0 T+ [. h) r% n( W' I1 b% Q2 H
    总结8 L+ j% d: Q( x
    - G! b/ G8 T, ~; ^
    Spark应用被提交–>SparkContext向资源管理器注册并申请资源–>启动Executor
    / m/ u* ~1 S0 U) PRDD–>构建DAG–>DAGScheduler划分Stage形成TaskSet–>TaskScheduler提交Task–>Worker上的Executor执行Task& d5 M  K8 [# T( _2 m- I5 x1 O/ [
    ( L  Z7 o& V9 W
    ————————————————
    & s7 N  [* _# |1 F  a: h6 k: _版权声明:本文为CSDN博主「真情流露哦呦」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    6 I2 ^6 Z8 s9 z$ I原文链接:https://blog.csdn.net/weixin_43563705/article/details/105699268
    ; P, a9 \- |; h1 Y- L3 F; J7 t5 u6 T2 B7 C1 d# |1 x
    9 K* ~1 c$ |4 f, M% u* f
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-4-20 20:09 , Processed in 0.427546 second(s), 54 queries .

    回顶部