如何让序号自动增加(序号自动增减怎么做)
607
2022-05-29
Spark编程环境搭建
基于Intellij IDEA搭建Spark开发环境搭
基于Intellij IDEA搭建Spark开发环境搭——参考文档
● 参考文档http://spark.apache.org/docs/latest/programming-guide.html
● 操作步骤
a)创建maven 项目
b)引入依赖(Spark 依赖、打包插件等等)
基于Intellij IDEA搭建Spark开发环境—maven vs sbt
● 哪个熟悉用哪个
● Maven也可以构建scala项目
基于Intellij IDEA搭建Spark开发环境搭—maven构建scala项目
● 参考文档http://docs.scala-lang.org/tutorials/scala-with-maven.html
● 操作步骤
a)用maven构建scala项目(基于net.alchim31.maven:scala-archetype-simple)
b)pom.xml引入依赖(spark依赖、打包插件等等)
注意:scala与java版本的兼容性
开发第一个Spark程序
● 第一个Scala版本的spark程序
● 第一个Java版本的spark程序
运行自己开发第一个Spark程序
● Spark maven 项目打包
mvn package
● 提交Spark 集群运行
提交Scala版本的Wordcount
bin/spark-submit --class com.dajiangtai.test.MyWordCount ~/testspark/test-spark-1.0.SNAPSHOT.jar ~/testspark/words.txt ~/testspark/result
提交Java版本的Wordcount
bin/spark-submit --class com.dajiangtai.test.MyJavaWordCount ~/testspark/test-spark-1.0.SNAPSHOT.jar ~/testspark/words.txt ~/testspark/result1
Scala spark
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。