大数据 第12页
-
[置顶]甘特图怎么制作更方便?甘特图制作方法
本文关于甘特图怎么制作更方便?甘特图制作方法。其实现在制作甘特图的方式有多种多样,可以直接使用表格的方式来制作,或者是使用一些线上工具来制作甘特图都是可以的。今天针对于甘特图制作方式给大家详细的分享一...
-
[置顶]okr的实施标准步骤是什么?成功实施落地OKR的要点
本文关于okr的实施标准步骤是什么?成功实施落地OKR的要点。其实有关于Okr工作法,相信很多人都有一定的了解。OKR定义为一个重要的思维框架和一个发展中的学科,旨在确保员工一起工作,并专注于做出可衡...
-
☀️大数据面试题及答案 (转载)
大数据面试题及答案 1 kafka的message包括哪些信息 2 怎么查看kafka的offset 3 hadoop的shuffle过程 4 spark集群运算的模式 5 HDFS读写数据的过程 6...
-
基于硬件特性的性能调优
性能优化四个方向:CPU/内存&网卡&磁盘&应用 编译器性能优化: 指令布局优化:拆分函数代码,按照冷热指令重新排布,提升指令cache命中率 内存布局优化:按照内存数据访问频率,组合热数据区域,提升...
-
【云小课】EI第37课 MRS基础原理之Kafka组件介绍
Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如...
-
大数据技术为什么快?
在之前的博客《什么是大数据?看这一篇就足够了!》中,小菌为大家较为详细的介绍了一些关于大数据的知识。其中提到了大数据的四个特点,即海量化,多样化,快速化和高价值。本篇博客,小菌决定就以 快速化 这个特...
-
大数据计算引擎:impala对比hive
目录 Impala与Hive的异同 数据存储 元数据 SQL解释处理 执行计划: 数据流: 内存使用: 调度: 容错: 适用面: Impala相对于Hive所使用的优化技术 Impala的优缺点 Im...
-
深度图解spark的cacheManager和DiskManager原理
本文和之前发表的2篇文章有关联,建议先阅读前两篇文章 spark的内存管理机制学习——BlockManager spark到底是怎么确认内存够不够用的?超大超详细图解!让你掌握Spark memeor...
-
华为云大咖说—大数据应用开发指导
华为云大咖说-大数据应用开发指导 赵军 华为云MRS服务架构师 这次课程分为三大部分 第一部分:公有云基本概念 第二部分:华为云MRS服务介绍 第三部分:MRS解决方案场景及案例 一公有云基本概念 首...
-
《从零开始学Hadoop大数据分析(视频教学版)》 —3.2.5 HDFS的核心概念
3.2.5 HDFS的核心概念 关于HDFS有以下核心概念,理解这些概念对于更好地了解HDFS的原理有很大帮助。 1.数据块(block) 每个磁盘都有默认的数据块大小,这是磁盘进行数据读/写的最小...
-
FusionInsight MRS透明加密方案
传统大数据集群中,用户数据明文保存在HDFS中,集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。 FusionInsight MRS引入了Hadoop...