Spark入门到精通视频学习资料--第三章:Spark进阶(2讲)

网友投稿 528 2022-05-29

掌握Spark内核是精通Spark的关键,也是驾驭Spark的精髓所在。

基于Spark内核,Spark构建起了一体化多元化的大数据处理流水线,在一个技术堆栈中即可以同时完成批处理、实时流处理、交互式查询、机器学习、图计算以及这些子框架之间数据和RDD算子的无缝共享与互操作。

可以说,Spark内核是每个想彻底掌握Spark的人员的必修课,通过对内核的探索,我们对整个Spark的运行机制会了如指掌,这对Spark的大规模应用、性能优化、系统自定义开发Spark系统都是至关重要的。

一、Spark内核核心术语解析

Application:

Application是创建了SparkContext实例对象的Spark用户,包含了Driver程序

Spark-shell是一个应用程序,因为spark-shell在启动的时候创建了SparkContext对象,其名称为sc

Job:

和Spark的action相对应,每一个action例如count、savaAsTextFile等都会对应一个Job实例,该Job实例包含多任务的并行计算。

Driver Program:

运行main函数并且新建SparkContext实例的程序。

Cluster Manager:

集群资源管理的外部服务,在Spark上现在主要有Standalone、Yarn、Mesos等三种集群资源管理器,Spark自带的Standalone模式能够满足绝大部分纯粹的Spark计算环境中对集群资源管理的需求,基本上只有在集群中运行多套计算框架的时候才建议考虑Yarn和Mesos。

Worker Node:

集群中可以运行应用程序代码的工作节点,相当于Hadoop的slave节点。

Executor:

在一个Worker Node上为应用启动的工作进程,在进程中负责任务的运行,并且负责将数据存放在内存或磁盘上,必须注意的是,每个应用在一个Worker Node上只会有一个Executor,在Executor内部通过多线程的方式并发处理应用的任务。

Task:

被Driver送到executor上的工作单元,通常情况下一个task会处理一个split的数据,每个split一般就是一个Block块的大小

Stage:

Spark入门到精通视频学习资料--第三章:Spark进阶(2讲)

一个Job会被拆分成很多任务,每一组任务被成为Stage,这个MapReduce的map和reduce任务很像,划分Stage的依据在于:Stage开始一般是由于读取外部数据或者Shuffle数据、一个Stage的结束一般是由于发生Shuffle(例如reduceByKey操作)或者整个Job结束时例如要把数据放到hdfs等存储系统上

附上讲解PPT:

深入spark内核.pdf       http://pan.baidu.com/s/1mgHZGhU

视频 spark

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:《Word/Excel/PPT 2019完全自学教程 : 视频讲解版 》 —2.1.3 输入日期和时间
下一篇:Day2 Episode 11: Storaged for the we
相关文章