Spark RDD算子案例：两种方式计算学生总分

文章目录

一、提出任务

二、准备工作

（一）启动HDFS服务

（二）启动Spark服务

三、实现步骤

（一）在Spark Shell里完成任务

（二）编写Scala程序完成任务

1、创建Maven项目 - `RDDDemo`

2、添加对hadoop、scala和spark的依赖

3、给Maven项目配置Scala SDK

4、创建`CalculateSum`单例对象

5、运行程序，查看结果

6、安装配置scala-2.12.14

7、更改项目使用的Scala SDK

8、将项目打成jar包 - RDDDemo.jar

9、将RDDDemo.jar包上传到虚拟机

10、将jar包提交到Spark服务器运行

11、在HDFS上查看程序运行结果

一、提出任务

针对成绩表，计算每个学生总分

二、准备工作

（一）启动HDFS服务

执行命令：start-dfs.sh

（二）启动Spark服务

进入Spark的sbin目录执行命令：./start-all.sh

三、实现步骤

（一）在Spark Shell里完成任务

创建成绩列表scores，基于成绩列表创建rdd1，对rdd1按键归约得到rdd2，然后查看rdd2内容

（二）编写Scala程序完成任务

1、创建Maven项目 - RDDDemo

设置GroupId与ArtifactId

设置项目名称与项目保存位置

单击【Finish】按钮

2、添加对hadoop、scala和spark的依赖

在pom.xml文件里添加对hadoop、scala和spark的依赖

4.0.0 net.hw.rdd RDDDemo 1.0-SNAPSHOT org.apache.hadoop hadoop-client 2.7.1 org.scala-lang scala-library 2.12.14 org.apache.spark spark-core_2.12 2.4.4

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

3、给Maven项目配置Scala SDK

我们已经安装了scala-sdk_2.13.8

4、创建CalculateSum单例对象

创建net.hw.rdd包，在包里创建CalculateSum单例对象

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

5、运行程序，查看结果

运行程序CalculateSum，结果报错了

出错的原因在于spark-2.4.4的内核是spark-core_2.12，不支持我们安装的Scala版本scala-2.13.8

下载https://downloads.lightbend.com/scala/2.12.14/scala-2.12.14.zip

6、安装配置scala-2.12.14

2.4.x的spark ⟹ \Longrightarrow ⟹ 选择2.12.x的scala

解压到指定位置，比如C盘根目录

修改Scala环境变量SCALA_HOME的值

在命令行启动Scala，查看其版本

7、更改项目使用的Scala SDK

打开项目结构窗口，将项目使用的Scala SDK改成scala-sdk-2.12.14

8、将项目打成jar包 - RDDDemo.jar

利用IDEA将项目RDDDemo打成jar包

9、将RDDDemo.jar包上传到虚拟机

将RDDDemo.jar包上传到master虚拟机

10、将jar包提交到Spark服务器运行

执行命令：spark-submit --class net.hw.rdd.CalculateSum ./RDDDemo.jar

11、在HDFS上查看程序运行结果

利用Hadoop的WebUI查看/park/result目录

_SUCCESS表明程序运行成功

有两个结果文件：part-00000和part-00001

执行命令：hdfs dfs -getmerge /park/result /home/result.txt，将两个结果文件合并下载到本地/home/result.txt

查看本地结果文件/home/result.txt

Scala spark

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。