QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 1485|回复: 0
打印 上一主题 下一主题

SparkCore:Spark原理初探(执行流程图)

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2020-4-24 18:08 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
    & s" x' f* ^! Q
    SparkCore:Spark原理初探(执行流程图)
    + m/ ]# i* j( R, x' G" ~+ ?5 X! o基本概念
    2 u/ p% n: c/ o# ]7 L
    ) V+ Y& k; h- |: Q2 I( {7 B/ J" P' P" |0 [: d" x
    2.png ' x" Q4 e; R( m& ~: q% |/ `" \
    ; ?$ U9 L2 \( h& I
    3.png 9 \3 q8 g( o% D* v

    $ w; k) [# S/ P& o- Z6 E" W- V名词解释
    0 e+ |, |7 A3 U+ n2 c" rApplication:指的是用户编写的Spark应用程序/代码,包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。
    . [6 }2 _- [! ^# o2 ODriver:Spark中的Driver即运行上述Application的Main()函数并且创建SparkContext,SparkContext负责和ClusterManager通信,进行资源的申请、任务的分配和监控等
    4 B3 J( g9 _. M* tCluster Manager:指的是在集群上获取资源的外部服务,Standalone模式下由Master负责,Yarn模式下ResourceManager负责;
    $ ^+ J! g1 P, r" y9 E" p7 b6 kExecutor:是运行在工作节点Worker上的进程,负责运行任务,并为应用程序存储数据,是执行分区计算任务的进程;
      A% y/ y& w& T4 ]RDD:Resilient Distributed Dataset弹性分布式数据集,是分布式内存的一个抽象概念;  ~; _; Y( [$ R/ p/ K* f: J
    DAG:Directed Acyclic Graph有向无环图,反映RDD之间的依赖关系和执行流程;  T$ H, C) N8 C& Q6 O6 k
    Job:作业,按照DAG执行就是一个作业;Job==DAG
    ' Z8 J, ~. d, ~* m. l" w/ [6 xStage:阶段,是作业的基本调度单位,同一个Stage中的Task可以并行执行,多个Task组成TaskSet任务集1 H; h9 a# n- g3 U# |4 o/ P- k
    Task:任务,运行在Executor上的工作单元,一个Task计算一个分区,包括pipline上的一系列操作( U) t' B5 V0 |0 r* f6 j- u
    基本流程
    : I. `& R. O. o$ V+ K; @9 w. F* N' ^0 o1 C8 o% ^) l
    Spark运行基本流程7 f" n5 c' V( I3 }8 y4 @  G
    当一个Spark应用被提交时,首先需要为这个Spark Application构建基本的运行环境,即由任务控制节点(Driver)创建一个SparkContext,( A; k0 ^# H8 s2 P$ F
    SparkContext向资源管理器注册并申请运行Executor资源;
    6 w  B7 J! Y$ M( h+ G8 s资源管理器为Executor分配资源并启动Executor进程,Executor运行情况将随着心跳发送到资源管理器上;# W" F1 y+ E( r0 @
    SparkContext根据RDD的依赖关系构建成DAG图,并提交给DAGScheduler进行解析划分成Stage,并把该Stage中的Task组成Taskset发送给TaskScheduler。
    + }5 t+ L# P* G0 s, ITaskScheduler将Task发放给Executor运行,同时SparkContext将应用程序代码发放给Executor。4 W( d% R% x% r
    Executor将Task丢入到线程池中执行,把执行结果反馈给任务调度器,然后反馈给DAG调度器,运行完毕后写入数据并释放所有资源。
    ; r, U; I; \5 I4 X, ^* v流程图解: Q1 g+ f! v5 t0 j

    : N! X% \: E$ j0 R# y. O, S1 { 4.png
    : g# j' I3 a, P+ @8 p  c1 J% G" z, q6 r, L* T8 N
    5.png
    ( Q6 z% D3 M7 d; J, L5 e3 T1 y- |7 M  K
    6.png * A2 z6 n- }0 t% H

    / F' f8 {% W9 S/ i7 W 7.png
    : K3 k' X6 f2 O3 x8 h
    7 u- U( }1 Z" g' a: C 8.png   T8 D( X5 N3 R' A- Z' q
    ' I: \& d) q5 {0 K

    # j( M. d# x1 P" g; n0 ?7 K& a4 U( A, j$ A5 |; o5 A
    总结/ C2 T2 j- I% O: ?* x

    7 z* _2 Y. _0 P5 v4 T' QSpark应用被提交–>SparkContext向资源管理器注册并申请资源–>启动Executor4 v# _" X" E! k! \
    RDD–>构建DAG–>DAGScheduler划分Stage形成TaskSet–>TaskScheduler提交Task–>Worker上的Executor执行Task. B( ^0 P2 E; H) U

    ' K, q' |8 D: U- z; w# e————————————————
    8 `8 ^" W( n) U1 {7 q, N版权声明:本文为CSDN博主「真情流露哦呦」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    / g9 F7 Z) F0 |% m0 c& y* v( _原文链接:https://blog.csdn.net/weixin_43563705/article/details/105699268
    ) ^' r! @$ H* F8 G  ~( Z6 i5 R. w  C

    ) c9 V9 ~" M5 I9 S
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-7-26 02:58 , Processed in 0.260351 second(s), 54 queries .

    回顶部