《Spark Streaming实时流式大数据处理实战》 ——2.2.4 Spark On Yarn模式

2.2.4  Spark On Yarn模式

Spark在0.6.0版本之后，添加了对Yarn模式的支持。通常，当我们已经部署了Hadoop集群时，可以将Spark统一在Yarn模式下进行资源分配管理，有利于资源上的整合与共享。

Spark在Yarn模式上分为Yarn client模式和Yarn cluster模式，两者的主要区别是，在Yarn cluster模式中，应用程序都作为Yarn框架所需要的主应用程序（Application Master），并通过Yarn资源管理器（Yarn ResourceManager）为其分配的一个随机节点上运行。而当我们需要本地交互时，可以利用Yarn client模式，该模型下Spark上下文（Spark-Context）会运行在本地，如Spark Shell和Shark等。因为公司内部大多数都会部署Hadoop集群，利用HDFS和Hive等进行存储管理，所以公司内部部署的公共Spark集群大多会依托于该模式。

Spark spark 大数据 大数据

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。