Spark 第2页

YARN概述 YARN是什么 Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YARN在Hadoop生态系统中的位置: YARN产生的背景 随着互联网高速发...

特别声明： 版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。

  • <a target=甘特图怎么制作更方便？甘特图制作方法" title="甘特图怎么制作更方便？甘特图制作方法" width="200" height="150">

    [置顶]甘特图怎么制作更方便？甘特图制作方法

    甘特图 •2025-03-31

    本文关于甘特图怎么制作更方便？甘特图制作方法。其实现在制作甘特图的方式有多种多样，可以直接使用表格的方式来制作，或者是使用一些线上工具来制作甘特图都是可以的。今天针对于甘特图制作方式给大家详细的分享一...

    数据分析 甘特图制作 甘特图 甘特图工具
  • <a target=OKR的实施标准步骤是什么？成功实施落地OKR的要点" title="OKR的实施标准步骤是什么？成功实施落地OKR的要点" width="200" height="150">

    [置顶]OKR的实施标准步骤是什么？成功实施落地OKR的要点

    OKR管理 •2025-03-31

    本文关于okr的实施标准步骤是什么？成功实施落地OKR的要点。其实有关于Okr工作法，相信很多人都有一定的了解。OKR定义为一个重要的思维框架和一个发展中的学科，旨在确保员工一起工作，并专注于做出可衡...

    OKR OKR系统 okr管理
  • <a target=Spark on YARN" title="Spark on YARN" width="200" height="150">

    Spark on YARN

    所有内容 •2025-04-02

    YARN概述 YARN是什么 Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用...

    Spark YARN
  • JVM(和<a target=Spark)性能优化：使用Java Mission Control (7)" title="JVM(和Spark)性能优化：使用Java Mission Control (7)" width="200" height="150">

    JVM(和Spark)性能优化：使用Java Mission Control (7)

    所有内容 •2025-04-01

    Java垃圾回收器是一种“自适应的、分代的、停止-复制、标记-清扫”式的垃圾回收器。在基于分代的内存回收策略中，堆空间通常都被划分为3个代，年轻代，年老代（或者tenured代-终身代），永生代。在年...

    Spark
  • 以java API<a target=方式提交spark作业" title="以java API方式提交spark作业" width="200" height="150">

    以java API方式提交spark作业

    所有内容 •2025-04-01

    一、文章背景 在初期学习spark的时候是以命令行的方式提交Job到集群环境中运行的，试想当一个作业需要重复去执行的时候且linux脚本不会搞，是不是很尴尬！随着对spark的深入了解和查看官网提供的...

    Java API 方式 提交 Spark
  • 【<a target=SparkAPI Java版】JavaPairRDD——aggregateByKey（二）" title="【SparkAPI Java版】JavaPairRDD——aggregateByKey（二）" width="200" height="150">

    【SparkAPI Java版】JavaPairRDD——aggregateByKey（二）

    所有内容 •2025-04-01

    Aggregate the values of each key, using given combine functions and a neutral "zero value". This fun...

    Spark Java
  • <a target=快速理解spark-on-k8s中的external-shuffle-service" title="快速理解spark-on-k8s中的external-shuffle-service" width="200" height="150">

    快速理解spark-on-k8s中的external-shuffle-service

    所有内容 •2025-04-01

    如果你想在kubernetes集群中运行Spark任务，那么你可能会对：如何在k8s上运行external-shuffle-service感兴趣。把Driver和Executor都当做容器，丢到k8s...

    快速 理解 Spark
  • <a target=Spark学习（14）" title="Spark学习（14）" width="200" height="150">

    Spark学习（14）

    所有内容 •2025-04-01

    Structured Streaming是构建在Spark SQL引擎上的流式数据处理引擎。可以使用静态RDD数据编写流式计算过程。当流数据连续不断的产生时，Spark SQL将会增量的、持续不断的处...

    Spark 学习
  • 【<a target=SparkSQL笔记】SparkSQL的入门实践教程（一）" title="【SparkSQL笔记】SparkSQL的入门实践教程（一）" width="200" height="150">

    【SparkSQL笔记】SparkSQL的入门实践教程（一）

    所有内容 •2025-04-01

    Spark SQL是用于处理结构化数据的模块。与Spark RDD不同的是，Spark SQL提供数据的结构信息(源数据)和性能更好，可以通过SQL和DataSet API与Spark SQL进行交互...

    sparkSQL 笔记 Spark
  • spark <a target=解决了 hadoop 的哪些问题(spark VS MR)？" title="spark 解决了 hadoop 的哪些问题(spark VS MR)？" width="200" height="150">

    spark 解决了 hadoop 的哪些问题(spark VS MR)？

    所有内容 •2025-04-01

    spark 解决了 hadoop 的哪些问题(spark VS MR)？ MR：抽象层次低，需要使用手工代码来完成程序编写，使用上难以上手； Spark：Spark 采用 RDD 计算模型，简单容易上...

    Spark 解决 Hadoop
  • 【<a target=SparkAPI Java版】JavaPairRDD——countByValue、countByValueApprox" title="【SparkAPI Java版】JavaPairRDD——countByValue、countByValueApprox" width="200" height="150">

    【SparkAPI Java版】JavaPairRDD——countByValue、countByValueApprox

    所有内容 •2025-04-01

    /** * Return the count of each unique value in this RDD as a map of (value, count) pairs. The final...

    Spark Java
  • <a target=详细解析如何对spark进行全方位的调优" title="详细解析如何对spark进行全方位的调优" width="200" height="150">

    详细解析如何对spark进行全方位的调优

    所有内容 •2025-03-31

    前言： Apache Spark 是专为大数据处理而设计的快速的计算引擎，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是—spark的输出结果可以保存在内存...

    详细 解析 Spark

热门文章