MapReduce学习（2）

Apache Hadoop YARN (Yet Another Resource Negotiator)，中文名为“另一种资源协调者”。它是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

在Hadoop1.0版本中，资源调度是通过MRv1来进行，此版本存在着很多缺陷：（1）master是单点，故障恢复依赖于周期性的checkpoint，不保证可靠性，发生故障的时候会通知用户，由用户自行决定是否重新计算。（2）没有区分作业调度与资源调度。 MR在运行时，环境会有大量的Job并发，因此多样且高效的调度策略是非常重要的。（3）没有提到资源隔离与安全性，大量Job并发的时候，如何保证单个Job不占用过多的资源，如何保证用户的程序对系统而言是安全的，在Hadoop 1.0中是个大问题。

随着YARN在Hadoop2.0的引入，这些问题都得到了解决。YARN作为轻量级弹性计算平台，除了支持MapReduce框架，还可以支持其他框架，比如Spark、Storm等。

MapReduce

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。