- 在线时间
- 1630 小时
- 最后登录
- 2024-1-29
- 注册时间
- 2017-5-16
- 听众数
- 82
- 收听数
- 1
- 能力
- 120 分
- 体力
- 563428 点
- 威望
- 12 点
- 阅读权限
- 255
- 积分
- 174251
- 相册
- 1
- 日志
- 0
- 记录
- 0
- 帖子
- 5313
- 主题
- 5273
- 精华
- 3
- 分享
- 0
- 好友
- 163
TA的每日心情 | 开心 2021-8-11 17:59 |
|---|
签到天数: 17 天 [LV.4]偶尔看看III 网络挑战赛参赛者 网络挑战赛参赛者 - 自我介绍
- 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
 群组: 2018美赛大象算法课程 群组: 2018美赛护航培训课程 群组: 2019年 数学中国站长建 群组: 2019年数据分析师课程 群组: 2018年大象老师国赛优 |
3 u5 F* C7 w! U& y5 Z8 w: B, u
SparkCore:Spark原理初探(执行流程图)# ~9 c# L- w& i# `1 M
基本概念4 ^4 s4 p2 b9 y- l! F
% f* ^! ]& ?6 t3 O1 m1 a/ d4 e* j% b9 R5 k' I5 l
6 |! t4 ?3 X: a7 R4 x
2 W/ u: a3 S' \: O' g
9 O$ o$ l4 U# y ^0 X! s
6 [3 o' O+ r) U5 I y9 c- Z: @名词解释* }6 M' U/ d4 G+ k* ]
Application:指的是用户编写的Spark应用程序/代码,包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。
' M X N: w% u9 e4 K# ~, Y6 S, IDriver:Spark中的Driver即运行上述Application的Main()函数并且创建SparkContext,SparkContext负责和ClusterManager通信,进行资源的申请、任务的分配和监控等/ {1 _9 F# v; e; O+ H! ?( s
Cluster Manager:指的是在集群上获取资源的外部服务,Standalone模式下由Master负责,Yarn模式下ResourceManager负责;
5 C' X$ ]$ ]/ N& M8 |+ MExecutor:是运行在工作节点Worker上的进程,负责运行任务,并为应用程序存储数据,是执行分区计算任务的进程;+ h* f( U2 A$ f* s2 H2 Y( O
RDD:Resilient Distributed Dataset弹性分布式数据集,是分布式内存的一个抽象概念;( I- X4 t. |4 m
DAG:Directed Acyclic Graph有向无环图,反映RDD之间的依赖关系和执行流程;
( a. g+ w3 z% a# |, yJob:作业,按照DAG执行就是一个作业;Job==DAG s: t1 `" d+ H: q& y
Stage:阶段,是作业的基本调度单位,同一个Stage中的Task可以并行执行,多个Task组成TaskSet任务集 |- X; P( ^* U9 l
Task:任务,运行在Executor上的工作单元,一个Task计算一个分区,包括pipline上的一系列操作 \3 u1 b- k2 o4 v" k2 R- }
基本流程/ x$ A! ]6 D) y' B$ A% R
6 `$ H E4 t r4 m4 Q: Y1 hSpark运行基本流程
# `& B; E6 q2 S9 w! W当一个Spark应用被提交时,首先需要为这个Spark Application构建基本的运行环境,即由任务控制节点(Driver)创建一个SparkContext,
3 U! @* |/ h$ {* ?/ DSparkContext向资源管理器注册并申请运行Executor资源;
$ D% Y2 G' w# d! v# g/ M2 @资源管理器为Executor分配资源并启动Executor进程,Executor运行情况将随着心跳发送到资源管理器上;
" ?4 R5 D# D( k& E1 qSparkContext根据RDD的依赖关系构建成DAG图,并提交给DAGScheduler进行解析划分成Stage,并把该Stage中的Task组成Taskset发送给TaskScheduler。
7 s- C- P, n, p+ ~9 iTaskScheduler将Task发放给Executor运行,同时SparkContext将应用程序代码发放给Executor。* G) Z) A3 X0 c1 H9 b: s& m, F
Executor将Task丢入到线程池中执行,把执行结果反馈给任务调度器,然后反馈给DAG调度器,运行完毕后写入数据并释放所有资源。' Z- Z, `+ {. T `, k+ r
流程图解
_- z5 K+ y1 P2 ?) m
1 S6 w3 Z* e. l _! y7 L- m
' w! S- G: C8 A3 T) t# z& ^: Q# Z* a4 a }2 @$ A& E# S
5 t( K: I, q) t% J% E
4 C1 c' m) p0 ]' J, {& p
! _" Y/ a- g" O T. {5 I9 h7 l$ h. _2 B
( I/ v! B8 U9 B4 O( c9 `3 Z2 |7 ^# N1 `& C7 T& D
' L5 L1 t: N/ X0 {
* M( G4 [7 N9 }. n" _; `" M' ?# J6 R& R% M5 ~. v2 H: `
2 S8 |" P/ ]* m8 ^+ i! c总结
* D( J1 [: q/ @
; ?/ J E7 p9 v z0 h5 b! ?Spark应用被提交–>SparkContext向资源管理器注册并申请资源–>启动Executor
2 P8 s. S8 V0 b& I, _" b% yRDD–>构建DAG–>DAGScheduler划分Stage形成TaskSet–>TaskScheduler提交Task–>Worker上的Executor执行Task
d3 q1 U5 ]' q' f- Y$ r" o s
- b6 V% d+ C; r/ ` L# O' d, G* ~————————————————4 J8 `* o2 n% X1 e; b1 I2 t
版权声明:本文为CSDN博主「真情流露哦呦」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。# m3 K. C0 D5 {& S( U, C* v3 K
原文链接:https://blog.csdn.net/weixin_43563705/article/details/105699268
1 g( K# C4 j" ?1 q4 A8 _
/ |1 `. ^) l, d/ a. i) Y2 `$ I) P
`, u- M& H6 s1 Q4 t" o: \% } |
zan
|