QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 1487|回复: 0
打印 上一主题 下一主题

SparkCore:Spark原理初探(执行流程图)

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2020-4-24 18:08 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta

    6 g5 q% \% ]9 m3 M: z9 X, y$ qSparkCore:Spark原理初探(执行流程图)
    * y) }3 @& z) @' I6 r' D6 n6 U/ _  `基本概念
    # Z! m. H& Q; Q- L" v3 Z2 d2 ^# Z% e& j. Z& c- j8 U* m

    / H; o: N$ N3 X8 Y. }( c& U 2.png * h4 S. v: C1 n2 [+ ^2 S7 y' S

    # _0 t) p# n- @. e2 P 3.png 3 }+ Y/ N: k0 F( T/ o6 K
    3 W4 Q* q- p& [- b: A" C
    名词解释
    6 i; j- Y. Y: F  k' MApplication:指的是用户编写的Spark应用程序/代码,包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。
    . x5 M: R1 h# t' U# ~+ X. _Driver:Spark中的Driver即运行上述Application的Main()函数并且创建SparkContext,SparkContext负责和ClusterManager通信,进行资源的申请、任务的分配和监控等5 I% j+ ~# \7 Y- S
    Cluster Manager:指的是在集群上获取资源的外部服务,Standalone模式下由Master负责,Yarn模式下ResourceManager负责;7 l+ f  }# ?' E% o2 Q7 p! R' W
    Executor:是运行在工作节点Worker上的进程,负责运行任务,并为应用程序存储数据,是执行分区计算任务的进程;9 @: o% H/ p6 T. W" ?! V
    RDD:Resilient Distributed Dataset弹性分布式数据集,是分布式内存的一个抽象概念;0 M2 ]; P2 H% _/ v7 @" u
    DAG:Directed Acyclic Graph有向无环图,反映RDD之间的依赖关系和执行流程;; z" Z8 b8 V' Z, j  k3 Y
    Job:作业,按照DAG执行就是一个作业;Job==DAG
    ) Q3 j: \$ a1 GStage:阶段,是作业的基本调度单位,同一个Stage中的Task可以并行执行,多个Task组成TaskSet任务集0 q/ d( `# D5 L+ u0 K* Y
    Task:任务,运行在Executor上的工作单元,一个Task计算一个分区,包括pipline上的一系列操作
    % I  u+ q* m. Y5 O& r  h" D基本流程
    6 t6 n5 H, V- h2 G) l1 W9 d  m- O( G' @+ n& ~7 C% [
    Spark运行基本流程
    2 c. h6 d6 _; k6 Y, V当一个Spark应用被提交时,首先需要为这个Spark Application构建基本的运行环境,即由任务控制节点(Driver)创建一个SparkContext,
    7 u6 ~$ W4 u  S2 nSparkContext向资源管理器注册并申请运行Executor资源;
      ^& f; M/ {- ]2 L. {# n$ R资源管理器为Executor分配资源并启动Executor进程,Executor运行情况将随着心跳发送到资源管理器上;
    & W/ o) {% a& t: ~1 bSparkContext根据RDD的依赖关系构建成DAG图,并提交给DAGScheduler进行解析划分成Stage,并把该Stage中的Task组成Taskset发送给TaskScheduler。
    ! o# E; u; k+ B: x* r) @, {TaskScheduler将Task发放给Executor运行,同时SparkContext将应用程序代码发放给Executor。
    ; f. P+ u& @, r( s: BExecutor将Task丢入到线程池中执行,把执行结果反馈给任务调度器,然后反馈给DAG调度器,运行完毕后写入数据并释放所有资源。2 ^: x' I, u  p& ^8 n
    流程图解
    : r* o0 x- U0 A  W2 m* y2 x- J2 N
    % e, ]2 _: r- @" \2 }4 ~; `9 @, L 4.png
    * D8 z6 A3 U8 ~2 _- h$ f+ C  Q5 n- t3 h
    5.png
    # c+ b; J! Z3 L5 r3 f' V3 @# d7 Y6 [! o. e
    6.png % B, O- Z  _; D) \: w1 H& E

    * c* j1 }8 Y0 B; d( k0 x 7.png
    ! n9 i( ?3 l: h2 ~- _, Z2 U! @) R6 K# ~" Y
    8.png 4 j9 Z, V, l( E: e9 y) }

    5 t' d% z9 S& k( A& o6 z. N$ V
    ) U; s* ?) q" ^0 s  P  N% X' W, V% i3 h& v# ?) _
    总结* Z5 _7 L. _2 o" q

    ' l) d" C. ?" k6 PSpark应用被提交–>SparkContext向资源管理器注册并申请资源–>启动Executor
      h) m: _# q+ h9 U& ERDD–>构建DAG–>DAGScheduler划分Stage形成TaskSet–>TaskScheduler提交Task–>Worker上的Executor执行Task* R" P+ g( X+ D) T/ B/ l

    8 j! _$ \! O6 W————————————————
    + \8 S6 b) K% h) {# r版权声明:本文为CSDN博主「真情流露哦呦」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。4 h7 \0 S2 e5 \; x: E% n9 h" Z
    原文链接:https://blog.csdn.net/weixin_43563705/article/details/1056992689 z' X2 O/ Q( Q
    4 Z  t" W7 y8 d5 E  N" F1 P; R
    ) g- S: d6 j8 z) Q: S
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-7-26 13:54 , Processed in 0.705674 second(s), 54 queries .

    回顶部