Spark
-
[置顶]甘特图怎么制作更方便?甘特图制作方法
本文关于甘特图怎么制作更方便?甘特图制作方法。其实现在制作甘特图的方式有多种多样,可以直接使用表格的方式来制作,或者是使用一些线上工具来制作甘特图都是可以的。今天针对于甘特图制作方式给大家详细的分享一...
-
[置顶]okr的实施标准步骤是什么?成功实施落地OKR的要点
本文关于okr的实施标准步骤是什么?成功实施落地OKR的要点。其实有关于Okr工作法,相信很多人都有一定的了解。OKR定义为一个重要的思维框架和一个发展中的学科,旨在确保员工一起工作,并专注于做出可衡...
-
数据湖应用解析:Spark on Elasticsearch一致性问题
1. 概述 Spark与Elasticsearch(es)的结合,是近年来大数据解决方案很火热的一个话题。一个是出色的分布式计算引擎,另一个是出色的搜索引擎。近年来,越来越多的成熟方案落地到行业产...
-
JVM(和Spark)性能优化:使用Java Mission Control (7)
Java垃圾回收器是一种“自适应的、分代的、停止-复制、标记-清扫”式的垃圾回收器。在基于分代的内存回收策略中,堆空间通常都被划分为3个代,年轻代,年老代(或者tenured代-终身代),永生代。在年...
-
【SparkSQL笔记】SparkSQL的入门实践教程(一)
Spark SQL是用于处理结构化数据的模块。与Spark RDD不同的是,Spark SQL提供数据的结构信息(源数据)和性能更好,可以通过SQL和DataSet API与Spark SQL进行交互...
-
2021年大数据Spark(十):环境搭建集群模式 Spark on YARN
目录 环境搭建-Spark on YARN 注意事项 Spark On Yarn的本质? Spark On Yarn需要啥? 总结: 修改配置 修改spark-env.sh 整合历史服务器并关闭资源检...
-
2021年大数据Spark(二十七):SparkSQL案例一花式查询和案例二WordCount
目录 案例一:花式查询 案例二:WordCount 基于DSL编程 基于SQL编程 具体演示代码如下: 案例一:花式查询 package cn.itcast.sql import org.apache...
-
大数据技术,Spark核心技术之运行原理
在大数据领域,只有深挖数据科学领域,走在学术前沿,才能在底层算法和模型方面走在前面,从而占据领先地位。 Spark的这种学术基因,使得它从一开始就在大数据领域建立了一定优势。无论是性能,还是方案的统一...
-
【SparkAPI JAVA版】JavaPairRDD——aggregateByKey(二)
Aggregate the values of each key, using given combine functions and a neutral "zero value". This fun...
-
Spark性能优化 (4) | JVM 调优
大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯...
-
04Spark 运行架构
大家好,我是一条~ 5小时推开Spark的大门,第四小时,带大家理解Spark的核心概念。 话不多说,开干! 运行架构 大家还记得第一节的系统架构图吗,就是这张 有同学反馈说都是英文的看不太懂,对照起...
-
Spark快速入门系列(2) | Spark 运行模式之Local本地模式
大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯...