Spark数据分析:基于Python语言 》 —1.2.7 Spark与Hadoop

网友投稿 732 2022-05-30

1.2.7 Spark与Hadoop

如前所述,Hadoop和Spark两者是紧密关联的,它们有共同的历史,核心的并行处理概念也有共通之处,比如无共享和数据本地化。下面我们了解一下Hadoop和Spark一般是如何共同使用的。

《Spark数据分析:基于Python语言 》 —1.2.7 Spark与Hadoop

1.以HDFS作为Spark的一种数据源

Spark可以用作Hadoop平台上的数据,也就是HDFS上数据的处理框架。Spark为读写HDFS上的多种文件格式的数据提供了内建支持,包括如下所列:

原生文本文件格式

SequenceFile格式

Parquet格式

此外,Spark还支持Avro、ORC等文件格式。用Spark从HDFS上读取一个文件非常简单,如下所示:

从Spark应用向HDFS写数据也很简单,如下所示:

2.以YARN作为Spark的一种资源调度器

YARN是Spark应用最常用的进程调度器。因为在Hadoop集群里,YARN通常和HDFS部署在一起,所以使用YARN作为平台管理Spark应用很方便。

同时,因为YARN管理着Hadoop集群里各节点的计算资源,所以它能在任何可用的地方并发调度Spark的处理任务。这样,当使用HDFS作为Spark应用的输入数据源时,YARN可以调度映射任务以充分保证数据本地化,以此在关键的初始处理阶段最大程度地减小需要跨网传输的数据量。

Spark python spark Python

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:Kubernetes — 基于层级命名空间的多租户隔离
下一篇:安全渗透测试,漏洞扫描产品汇总大全(后续更新使用方法)
相关文章