Hadoop权威指南-伙伴云

Hadoop权威指南

5.1.3 ChecksumFileSystem LocalFileSystem通过ChecksumFileSystem来完成自己的任务，有了这个类，向其他文件系统(无校验和系统)加入校验和就非常简单，因为ChecksumFileSystem类继承自FileSystem类。一般用法如下： FileSystem rawFs = ... FileSystem checksummedFs = new...

[置顶]甘特图怎么制作更方便？甘特图制作方法

甘特图 •2022-09-20

本文关于甘特图怎么制作更方便？甘特图制作方法。其实现在制作甘特图的方式有多种多样，可以直接使用表格的方式来制作，或者是使用一些线上工具来制作甘特图都是可以的。今天针对于甘特图制作方式给大家详细的分享一...

数据分析甘特图制作甘特图甘特图工具
[置顶]okr的实施标准步骤是什么？成功实施落地OKR的要点

OKR管理 •2022-09-20

本文关于okr的实施标准步骤是什么？成功实施落地OKR的要点。其实有关于Okr工作法，相信很多人都有一定的了解。OKR定义为一个重要的思维框架和一个发展中的学科，旨在确保员工一起工作，并专注于做出可衡...

OKR OKR系统 okr管理
[置顶]3分钟带你区分低代码和零代码，原来差异如此明显？不能混为一谈

办公 •2023-05-22

信息技术发展日新月异，人们总是希望有一种工具或者平台能够快速实现应用开发和部署，不写代码或者写少量代码就能够实现项目交付，对需求双方都是省心省力的事情。低代码和零代码工具符合了人们对速率的期待，在近些...

低代码代码数据设置用户零代码
《Hadoop权威指南：大数据的存储与分析》—5.1.3 ChecksumFileSystem

所有内容 •2022-05-30

5.1.3 ChecksumFileSystem LocalFileSystem通过ChecksumFileSystem来完成自己的任务，有了这个类，向其他文件系统(无校验和系统)加入校验和就非常简...

Hadoop权威指南数据
《Hadoop权威指南：大数据的存储与分析》—4.1.2 应用生命期

所有内容 •2022-05-30

4.1.2 应用生命期 YARN应用的生命期差异性很大:有几秒的短期应用，也有连续运行几天甚至几个月的长期应用。与其关注应用运行多长时间，不如按照应用到用户运行的作业之间的映射关系对应用进行分类更有...

Hadoop权威指南数据
《Hadoop权威指南：大数据的存储与分析》—4.3.2 容量调度器配置

所有内容 •2022-05-30

4.3.2 容量调度器配置容量调度器允许多个组织共享一个Hadoop集群，每个组织可以分配到全部集群资源的一部分。每个组织被配置一个专门的队列，每个队列被配置为可以使用一定的集群资源。队列可以进一...

Hadoop权威指南数据
《Hadoop权威指南：大数据的存储与分析》—4.3 YARN中的调度

所有内容 •2022-05-29

4.3 YARN中的调度理想情况下，YARN应用发出的资源请求应该立刻给予满足。然而现实中资源是有限的，在一个繁忙的集群上，一个应用经常需要等待才能得到所需的资源。YARN调度器的工作就是根据既定...

Hadoop权威指南数据
《Hadoop权威指南：大数据的存储与分析》—4.3.3 公平调度器配置

所有内容 •2022-05-29

4.3.3 公平调度器配置公平调度器旨在为所有运行的应用公平分配资源。图4-3展示了同一个队列中的应用是如何实现资源公平共享的。然而公平共享实际也可以在多个队列间工作，后续会对此进行分析。术语q...

Hadoop权威指南数据
《Hadoop权威指南：大数据的存储与分析》

所有内容 •2022-05-29

Hadoop权威指南大数据的存储与分析(第4版) Hadoop: The Definitive Guide Storage and Analysis at Internet Scale Tom Wh...

Hadoop权威指南数据
《Hadoop权威指南：大数据的存储与分析》—3.7 通过distcp并行复制

所有内容 •2022-05-29

3.7 通过distcp并行复制前面着重介绍单线程访问的HDFS访问模型。例如，通过指定文件通配符，可以对一组文件进行处理，但是为了提高性能，需要写一个程序来并行处理这些文件。Hadoop自带一个...

Hadoop权威指南数据
《Hadoop权威指南：大数据的存储与分析》—5.2 压缩

所有内容 •2022-05-29

5.2 压缩文件压缩有两大好处：减少存储文件所需要的磁盘空间，并加速数据在网络和磁盘上的传输。这两大好处在处理大量数据时相当重要，所以我们值得仔细考虑在Hadoop中文件压缩的用法。有很多种不同...

Hadoop权威指南数据
《Hadoop权威指南：大数据的存储与分析》—5.2.3 在MapReduce中使用压缩

所有内容 •2022-05-29

5.2.3 在MapReduce中使用压缩前面讲到通过CompressionCodecFactory来推断CompressionCodec时指出，如果输入文件是压缩的，那么在根据文件扩展名推断出相...

Hadoop权威指南数据
《Hadoop权威指南：大数据的存储与分析》—3.4 Hadoop文件系统

所有内容 •2022-05-29

3.4 Hadoop文件系统 Hadoop有一个抽象的文件系统概念，HDFS只是其中的一个实现。Java抽象类 org.apache.hadoop.fs.FileSystem定义了Hadoop 中一...

Hadoop权威指南数据