Spark 第2页
-
[置顶]甘特图怎么制作更方便?甘特图制作方法
本文关于甘特图怎么制作更方便?甘特图制作方法。其实现在制作甘特图的方式有多种多样,可以直接使用表格的方式来制作,或者是使用一些线上工具来制作甘特图都是可以的。今天针对于甘特图制作方式给大家详细的分享一...
-
[置顶]okr的实施标准步骤是什么?成功实施落地OKR的要点
本文关于okr的实施标准步骤是什么?成功实施落地OKR的要点。其实有关于Okr工作法,相信很多人都有一定的了解。OKR定义为一个重要的思维框架和一个发展中的学科,旨在确保员工一起工作,并专注于做出可衡...
-
Make Apache Spark better with CarbonData
Spark 无疑是一个强大的处理引擎和一个用于更快处理的分布式集群计算框架。不幸的是,Spark在一些方面也存在不足。如果我们将 Apache Spark 与 Apache CarbonData 结合...
-
Spark Streaming 快速入门系列(6) | DStream的几种保存方式
大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯...
-
Spark为什么选择Scala
Spark为什么选择Scala 1. Scala特点 第一眼看到luxor-core中的Scala代码时(之前没有读过Scala的任何代码)就感觉非常迷茫。独特的语法和编写方式,各种各样的语法...
-
《Spark数据分析:基于Python语言 》
数据科学与工程技术丛书 Spark数据分析:基于Python语言 Data Analytics with Spark Using Python [澳] 杰夫瑞·艾文(Jeffrey Aven) 著 王...
-
Spark Streaming 进阶实战五个例子
一、带状态的算子:UpdateStateByKey 实现 计算 过去一段时间到当前时间 单词 出现的 频次 object StatefulWordCount { def main(args: Arra...
-
以java API方式提交spark作业
一、文章背景 在初期学习spark的时候是以命令行的方式提交Job到集群环境中运行的,试想当一个作业需要重复去执行的时候且linux脚本不会搞,是不是很尴尬!随着对spark的深入了解和查看官网提供的...
-
《Spark数据分析:基于Python语言 》 —2.5 在Windows上安装Spark
2.5 在Windows上安装Spark 在Windows上安装Spark比在Linux或Mac OS X上更麻烦一些,因为要先解决Python和Java等依赖的安装。本例使用Windows Serv...
-
Spark环境搭建——on yarn集群模式
本篇博客,Alice为大家带来关于如何搭建Spark的on yarn集群模式的教程。 文章目录 准备工作 cluster模式 client模式[了解] 两种模式的区别 官方文档: http://spa...
-
spark streaming连接kafka引发"partition.assignment.strategy"异常处理
服务器运行环境:spark 2.4.4 + scall 2.11.12 + kafka 2.2.2 由于业务相对简单,kafka只有固定topics,所以一直使用下面脚本执行实时流计算 spark-s...
-
Spark之【RDD编程进阶】——累加器与广播变量的使用
上一篇博客博主已经为大家介绍了Spark中数据读取与保存,这一篇博客则带来了Spark中的编程进阶。其中就涉及到了累加器与广播变量的使用。 文章目录 RDD编程进阶 1.累加器 1.1系统累加器 2....