QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 1464|回复: 0
打印 上一主题 下一主题

SparkCore:Spark原理初探(执行流程图)

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2020-4-24 18:08 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta

    5 S6 G  E6 P- g% HSparkCore:Spark原理初探(执行流程图)! `2 U% N3 `1 G6 T. f- G
    基本概念* W/ \1 m9 o- t5 x! K: a' O

    : T7 d. |) d! W; _" m% q1 U
    $ s0 J; Y; A5 c* I; T8 A, t1 Q+ b* P 2.png " i7 v. B5 L# Q& [8 }
    # M9 l- H  ~/ ]! Y0 y1 P
    3.png
    . e9 w, T1 d5 ?9 E
    & I: y& j5 E- @0 l- D名词解释" w0 n/ p% z9 r! q8 ^1 b: g
    Application:指的是用户编写的Spark应用程序/代码,包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。$ Q0 j7 }' g% J. Y# L8 A
    Driver:Spark中的Driver即运行上述Application的Main()函数并且创建SparkContext,SparkContext负责和ClusterManager通信,进行资源的申请、任务的分配和监控等6 E% b. R6 ?' b0 B( y
    Cluster Manager:指的是在集群上获取资源的外部服务,Standalone模式下由Master负责,Yarn模式下ResourceManager负责;7 G: r2 M3 g7 ]( j6 `5 G1 L
    Executor:是运行在工作节点Worker上的进程,负责运行任务,并为应用程序存储数据,是执行分区计算任务的进程;
    . b; f* x; D( q; N& ]RDD:Resilient Distributed Dataset弹性分布式数据集,是分布式内存的一个抽象概念;. \) p! p! r1 E
    DAG:Directed Acyclic Graph有向无环图,反映RDD之间的依赖关系和执行流程;
    " ~6 m5 ?0 y: Y0 D/ ?" J) y3 tJob:作业,按照DAG执行就是一个作业;Job==DAG5 y% A% l+ h6 }, @
    Stage:阶段,是作业的基本调度单位,同一个Stage中的Task可以并行执行,多个Task组成TaskSet任务集
    + X+ d2 \5 F/ _/ @& O/ ?1 M. E& Y, ~Task:任务,运行在Executor上的工作单元,一个Task计算一个分区,包括pipline上的一系列操作
    9 p5 q; D- \/ s+ X0 {* Z: h! v5 n基本流程
    / U: Q3 `& K% u" G% z$ n$ l) s3 Y( [7 I3 L  o
    Spark运行基本流程
    ( i; t0 Y: L9 K4 A( D' h当一个Spark应用被提交时,首先需要为这个Spark Application构建基本的运行环境,即由任务控制节点(Driver)创建一个SparkContext,
    $ W) g4 S5 N# _# r0 l; F' F3 W$ `. eSparkContext向资源管理器注册并申请运行Executor资源;9 d+ e/ f4 s- E  h
    资源管理器为Executor分配资源并启动Executor进程,Executor运行情况将随着心跳发送到资源管理器上;7 B" @2 _" G: R, r" f" @. x- A
    SparkContext根据RDD的依赖关系构建成DAG图,并提交给DAGScheduler进行解析划分成Stage,并把该Stage中的Task组成Taskset发送给TaskScheduler。
    2 B4 j+ J; [9 DTaskScheduler将Task发放给Executor运行,同时SparkContext将应用程序代码发放给Executor。
    , @% [# |1 V2 s6 g' i* iExecutor将Task丢入到线程池中执行,把执行结果反馈给任务调度器,然后反馈给DAG调度器,运行完毕后写入数据并释放所有资源。
    / G9 G* A" W4 |" m  t; o' ?流程图解
    7 r2 k! j2 v: d! g2 J7 c) [5 w# `3 I1 X) M- f6 R
    4.png 8 C: ^, m" r# v1 A; c9 h+ U

    6 y" d) D% a* ?+ h& Z! d' g( [ 5.png
    5 l( u& u8 l& P5 q
    # z% A& a# ?3 [$ M4 F 6.png - V8 ~6 y) n; H) F4 S- S- t& X
    7 t8 M0 W' m, t3 g: v+ d9 `
    7.png ! h  h! ~. z6 A; P3 H9 z% m

    0 Y, @( A; R$ u' j  B 8.png
    & v& B' \3 M- @$ u
    / }0 D1 l3 F8 W. ]1 {1 @: U! R4 e- Y7 k% r
    9 b' t" N3 c$ t" @" s+ g: y
    总结
    ( `' s$ J. G" m' |$ ~& a. ^4 m* m0 e% k: D' O' H9 C
    Spark应用被提交–>SparkContext向资源管理器注册并申请资源–>启动Executor
    ; ~$ g# j; }+ E. _. [0 y/ W* }4 CRDD–>构建DAG–>DAGScheduler划分Stage形成TaskSet–>TaskScheduler提交Task–>Worker上的Executor执行Task- ]1 @4 t  |/ j8 l; b
    / q% Y9 q& d& J6 @( M$ m6 t
    ————————————————
      l4 t3 L$ h2 N版权声明:本文为CSDN博主「真情流露哦呦」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。' ~- n+ L! F, f7 H8 B: ?+ ]* ]( y1 [
    原文链接:https://blog.csdn.net/weixin_43563705/article/details/105699268
    ) d* P! s5 q! N% e" V- |
    , U9 L2 c# Y$ J' m9 R6 F" L% d' g* ^# S3 N' v' x' k2 H
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-6-9 21:28 , Processed in 0.373262 second(s), 53 queries .

    回顶部