Spark编程环境搭建

网友投稿 595 2022-05-29

Spark编程环境搭建

Spark编程环境搭建

基于Intellij IDEA搭建Spark开发环境搭

基于Intellij IDEA搭建Spark开发环境搭——参考文档

● 参考文档http://spark.apache.org/docs/latest/programming-guide.html

● 操作步骤

a)创建maven 项目

b)引入依赖(Spark 依赖、打包插件等等)

基于Intellij IDEA搭建Spark开发环境—maven vs sbt

● 哪个熟悉用哪个

● Maven也可以构建scala项目

基于Intellij IDEA搭建Spark开发环境搭—maven构建scala项目

● 参考文档http://docs.scala-lang.org/tutorials/scala-with-maven.html

● 操作步骤

a)用maven构建scala项目(基于net.alchim31.maven:scala-archetype-simple)

b)pom.xml引入依赖(spark依赖、打包插件等等)

注意:scala与java版本的兼容性

开发第一个Spark程序

● 第一个Scala版本的spark程序

● 第一个Java版本的spark程序

运行自己开发第一个Spark程序

● Spark maven 项目打包

mvn package

● 提交Spark 集群运行

提交Scala版本的Wordcount

bin/spark-submit --class com.dajiangtai.test.MyWordCount ~/testspark/test-spark-1.0.SNAPSHOT.jar ~/testspark/words.txt ~/testspark/result

提交Java版本的Wordcount

bin/spark-submit --class com.dajiangtai.test.MyJavaWordCount ~/testspark/test-spark-1.0.SNAPSHOT.jar ~/testspark/words.txt ~/testspark/result1

Scala spark

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:《Office 2019高效办公三合一从入门到精通 : 视频自学版》 —3.4分栏排版
下一篇:php表单提交并发送邮件给某个邮箱(示例源码)
相关文章