MapReduce学习（6）

Shuffle指的是Map阶段和Reduce阶段之间传递中间数据的过程，包括Reduce Task从各个Map Task获取MOF文件的过程，以及对MOF的排序与合并处理。

在Map任务全部结束之前进行归并，归并得到一个大的文件，放在本地磁盘。文件归并时，如果溢写文件数量大于预定值（默认是3）则可以再次启动Combiner，少于3不需要。JobTracker会一直监测Map任务的执行，并通知Reduce任务来领取数据。Reduce任务通过RPC向JobTracker询问Map任务是否已经完成，若完成，则领取数据。Reduce领取数据先放入缓存，来自不同Map机器，先归并，再合并，写入磁盘。多个溢写文件归并成一个或多个大文件，文件中的键值对是排序的。

MapReduce

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。