怎样给不同的柱子上添加不同的标准误差线（怎么给柱形图加误差线）
921
2022-05-28
MapReduce快速入门系列(7) | Shuffle之排序(sort)详解及全排序
上篇博文给大家带来的是分区的介绍以及怎样自定义分区，这次博主为大家带来的是关于排序的博文，希望大家能够喜欢。
目录
一. Shuffle之排序(sort)
1.1 排序的简单介绍
1.2 排序的分类
1.3 自定义排序
二. WritableComparable排序案例
2.1 需求
2.2 需求分析
2.3 编写代码
1. FlowBean对象在在需求1基础上增加了比较功能
2. 编写Mapper类
3. 编写Reducer类
4. 编写Driver类
2.4 运行及结果
1. 运行
2. 结果
一. Shuffle之排序(sort)
今天我们讲的是第六步，sort排序操作。
1.1 排序的简单介绍
排序是MapReduce框架中最重要的操作之一。
MapTask和ReduceTask均会对数据
按照key
进行排序。该操作属于Hadoop的默认行为。
任何应用程序中的数据均会被排序，而不管逻辑上是否需要否需要
。
默认排序是按照
字典顺序排序
，且实现该排序的方法是
快速排序
。
对于MapTask，它会将处理的结果暂时放在环形缓冲区中，
当环形缓冲区使用率达到一定阈值后，再对缓冲区中的数据进行一次快速排序
，并将这些有序数据溢写到磁盘上，而当数据处理完毕后，它会
对磁盘上所有文件进行归并排序
。
对于ReduceTask，它从每个MapTask上远程拷贝相应的数据文件，如果文件大小超过一定阈值，则溢写磁盘上，否则存储在内存中，如果磁盘上文件数目达到一定阈值，则进行一次归并排序以生成一个更大文件；如果内存中文件大小或者数目超过一定阈值，则进行一次合并后将数据溢写到磁盘上。当所有数据拷贝完毕后，
ReduceTask统一对内存和磁盘上的所有数据进行一次归并排序
。
1.2 排序的分类
1. 部分排序
MapReduce根据输入记录的键对数据集排序。
保证输出的每个文件内部有序
。
2. 全排序
最终输出结果只有一个文件，且文件内部有序
。实现方式是只设置一个ReduceTask。但该方法在处理大型文件时效率极低，因为一台机器处理所有文件，完全丧失了MapReduce所提供的并行框架。
3. 辅助排序：(GroupingComparator分组)
在Reduce端对key进行分组。应用于：在接收的key为bean对象时，想让一个活几个字段相同(全部字段比较不相同)的key进入到同一个reduce方法时，可以采用分组排序。
4. 二次排序
在自定义排序过程中，如果compareTo中的判断条件为两个即为二次排序。
1.3 自定义排序
原理分析：
bean对象做为key传输，需要实现WritableComparable接口重写compareTo方法，就可以实现排序。
@Override public int compareTo(FlowBean o) { int result; // 按照总流量大小，倒序排列 if (sumFlow > bean.getSumFlow()) { result = -1; }else if (sumFlow < bean.getSumFlow()) { result = 1; }else { result = 0; } return result; }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
二. WritableComparable排序案例
案例还是用的上两篇博文的文档。
2.1 需求
期望输出数据 13509468723 7335 110349 117684 13736230513 2481 24681 27162 13956435636 132 1512 1644 13846544121 264 0 264
1
2
3
4
5
6
2.2 需求分析
1. 查看需求
2. 查看我们需要排序的数据
2.3 编写代码
1. FlowBean对象在在需求1基础上增加了比较功能
package com.buwenbuhuo.WritableComparable; import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; /** * @author 卜温不火 * @create 2020-04-24 0:33 * com.buwenbuhuo.WritableComparable - the name of the target package where the new class or interface will be created. * mapreduce0422 - the name of the current project. */ public class FlowBean implements WritableComparable
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
2. 编写Mapper类
package com.buwenbuhuo.WritableComparable; import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; /** * @author 卜温不火 * @create 2020-04-24 0:33 * com.buwenbuhuo.WritableComparable - the name of the target package where the new class or interface will be created. * mapreduce0422 - the name of the current project. */ public class SortMapper extends Mapper
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
3. 编写Reducer类
package com.buwenbuhuo.WritableComparable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; import java.io.IOException; /** * @author 卜温不火 * @create 2020-04-24 0:33 * com.buwenbuhuo.WritableComparable - the name of the target package where the new class or interface will be created. * mapreduce0422 - the name of the current project. */ public class SortReducer extends Reducer
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
4. 编写Driver类
package com.buwenbuhuo.WritableComparable; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import java.io.IOException; /** * @author 卜温不火 * @create 2020-04-24 0:33 * com.buwenbuhuo.WritableComparable - the name of the target package where the new class or interface will be created. * mapreduce0422 - the name of the current project. */ public class SortDriver { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { // 1 获取配置信息，或者job对象实例 Job job = Job.getInstance(new Configuration()); // 2 指定本程序的jar包所在的本地路径job.setJarByClass(com.buwenbuhuo.WritableComparable.SortDriver.class); // 3 指定本业务job要使用的mapper/Reducer业务类 job.setMapperClass(SortMapper.class); job.setReducerClass(SortReducer.class); // 4 指定mapper输出数据的kv类型job.setMapOutputKeyClass(com.buwenbuhuo.WritableComparable.FlowBean.class); job.setMapOutputValueClass(Text.class); // 5 指定最终输出的数据的kv类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(FlowBean.class); // 6 指定job的输入原始文件所在目录 FileInputFormat.setInputPaths(job, new Path("d:\\output")); FileOutputFormat.setOutputPath(job, new Path("d:\\output2")); // 7 将job中配置的相关参数，以及job所用的java类所在的jar包， 提交给yarn去运行 boolean b = job.waitForCompletion(true); System.exit(b ? 0 : 1); } }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
2.4 运行及结果
1. 运行
2. 结果
本期的分享就到这里了,小伙伴们有什么疑惑或好的建议可以积极在评论区留言~，博主会持续更新新鲜好玩的技术,喜欢的小伙伴们不要忘了，记得要关注博主呐ヾ(◍°∇°◍)ﾉﾞ。
MapReduce
版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。
相关文章
推荐文章
最近发表
