《Spark数据分析：基于Python语言 》 —2.2　准备安装Spark

2.2　准备安装Spark

Spark是跨平台的应用程序，可以部署在如下操作系统上：

Linux（所有发行版）

Windows

Mac OS X

尽管没有具体的硬件要求，一般的Spark节点的推荐硬件配置如下所列：

8GB以上的内存（Spark是主要基于内存的处理框架，所以内存越多越好）。

至少是8核CPU。

10GB以上的网络带宽。

如果要用到存储的话，还要有充足的本地磁盘存储空间（RDD的磁盘存储最好使用SSD。如果该节点还运行着HDFS这样的分布式文件系统，最好为多磁盘使用JBOD配置。JBOD代表“Just a bunch of disks”（磁盘簇），表示使用没有组成RAID阵列（独立冗余磁盘阵列）的独立硬盘的配置方式。）

Spark是用Scala编写的，这是一种编译后运行在Java虚拟机（JVM）上的语言。Spark提供了Python（PySpark）、Scala和Java的编程接口。安装和运行Spark的软件要求如下所列：

Java（最好是JDK）。

Python，如果需要使用PySpark的话。

R，如果想通过R语言接口使用Spark，详见第8章。

Git、Maven或者SBT，如果想要从源代码编译构建Spark，或者编译Spark程序，会用到这些工具。

Spark python spark Python

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。