- 在线时间
- 1630 小时
- 最后登录
- 2024-1-29
- 注册时间
- 2017-5-16
- 听众数
- 82
- 收听数
- 1
- 能力
- 120 分
- 体力
- 563412 点
- 威望
- 12 点
- 阅读权限
- 255
- 积分
- 174246
- 相册
- 1
- 日志
- 0
- 记录
- 0
- 帖子
- 5313
- 主题
- 5273
- 精华
- 3
- 分享
- 0
- 好友
- 163
TA的每日心情 | 开心 2021-8-11 17:59 |
|---|
签到天数: 17 天 [LV.4]偶尔看看III 网络挑战赛参赛者 网络挑战赛参赛者 - 自我介绍
- 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
 群组: 2018美赛大象算法课程 群组: 2018美赛护航培训课程 群组: 2019年 数学中国站长建 群组: 2019年数据分析师课程 群组: 2018年大象老师国赛优 |
( }, f7 a, ]# m4 PSparkCore:Spark原理初探(执行流程图)# ^2 X" F5 w2 ?9 O8 {
基本概念
- X# H+ g' {1 F: D3 O3 B8 f3 f
( a/ v, O- h$ z) t+ [! e6 B) b
; k. V" P' R" ]3 @: g9 p
) Y6 f" ~) G& W3 ]! I& D
2 s, |/ E4 v( H* M4 m! Q$ y
; D4 ~ }4 p: Y y6 ]- u, Q1 ~
7 l f! W5 w6 b$ {3 ~" ?" U
名词解释7 p" i( E: R t
Application:指的是用户编写的Spark应用程序/代码,包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。( G1 a$ {6 u! o) V- W
Driver:Spark中的Driver即运行上述Application的Main()函数并且创建SparkContext,SparkContext负责和ClusterManager通信,进行资源的申请、任务的分配和监控等+ C8 O4 w0 [) f% J+ I+ ^4 c
Cluster Manager:指的是在集群上获取资源的外部服务,Standalone模式下由Master负责,Yarn模式下ResourceManager负责;3 b( X2 i8 B! e
Executor:是运行在工作节点Worker上的进程,负责运行任务,并为应用程序存储数据,是执行分区计算任务的进程;/ l' n8 X, {7 ^8 v
RDD:Resilient Distributed Dataset弹性分布式数据集,是分布式内存的一个抽象概念;
3 S" @, ]- q- k+ d$ IDAG:Directed Acyclic Graph有向无环图,反映RDD之间的依赖关系和执行流程;
$ k4 A8 [! [% ]# u! i0 D- v7 c; y- @Job:作业,按照DAG执行就是一个作业;Job==DAG( Y9 y" x) U" v* \2 a
Stage:阶段,是作业的基本调度单位,同一个Stage中的Task可以并行执行,多个Task组成TaskSet任务集
& t0 k' d# r( J6 k+ qTask:任务,运行在Executor上的工作单元,一个Task计算一个分区,包括pipline上的一系列操作9 l6 w3 a' C K: u
基本流程$ `$ ~, P! [4 d
5 H0 m8 m: d. G5 S9 S4 s5 sSpark运行基本流程: O/ W9 Y6 x! L, n3 _" D. ?! z. q
当一个Spark应用被提交时,首先需要为这个Spark Application构建基本的运行环境,即由任务控制节点(Driver)创建一个SparkContext,8 T( e$ [& L" V+ k5 m2 ?0 b
SparkContext向资源管理器注册并申请运行Executor资源; q2 |- `. ^$ C- ]' w* Q! L8 b
资源管理器为Executor分配资源并启动Executor进程,Executor运行情况将随着心跳发送到资源管理器上;
6 R) k9 o0 h% l0 w% HSparkContext根据RDD的依赖关系构建成DAG图,并提交给DAGScheduler进行解析划分成Stage,并把该Stage中的Task组成Taskset发送给TaskScheduler。
) D6 v+ c7 Z: }4 pTaskScheduler将Task发放给Executor运行,同时SparkContext将应用程序代码发放给Executor。$ ~/ B# y0 O* J, Q9 f
Executor将Task丢入到线程池中执行,把执行结果反馈给任务调度器,然后反馈给DAG调度器,运行完毕后写入数据并释放所有资源。
4 Z \0 S' n3 Z. ] V% T流程图解
2 T! J9 U \7 B5 O' E! D# L4 z
% k6 {3 \! t, z1 \. z& a" p [
% c. b7 e2 y* {9 x6 C) ?3 R1 z( m; i" c
# S8 v9 t' l! f: e
7 a( L" T1 V, t4 F
$ S+ G9 w7 V6 g$ F' z
* A2 H7 K8 U$ T6 Y
0 k! f1 m, w: G& J: ]1 v, H+ \: n; f$ S
: p+ U7 O7 b/ S3 Y
* H9 \* A' U2 g! [' @( ~- O* h: u( C: P
4 ]. ^* o; Z4 X2 {$ v9 F. c- y总结# @# P' `" u2 ^8 v
$ {& @2 o, ^+ f! e# B9 j
Spark应用被提交–>SparkContext向资源管理器注册并申请资源–>启动Executor2 a. ]& r/ S3 V; Y5 o
RDD–>构建DAG–>DAGScheduler划分Stage形成TaskSet–>TaskScheduler提交Task–>Worker上的Executor执行Task
9 _' I& M2 U5 N9 H+ n- u$ d2 C$ e4 x. ^
————————————————
# D8 U9 v# O4 W" N/ o# B版权声明:本文为CSDN博主「真情流露哦呦」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。+ i9 y/ ?8 N3 r6 u( C
原文链接:https://blog.csdn.net/weixin_43563705/article/details/105699268' p: t) {8 d, t/ W, W
! d/ d, \/ D/ Z& m
! E! ~2 X5 t. c/ @4 c: G. L
|
zan
|