《Python大规模机器学习》—1.1.4 使用Python进行向外扩展

1.1.4    使用Python进行向外扩展

这只需将多台计算机连接成一个集群即可。连接机器（向外扩展）时，你还可以使用更强大的配置（从而扩展CPU、内存和I/O）来扩展其中的每一个，从而应用前面提到的技术并提高它们的性能。

通过连接多台机器，能够以并行方式利用其计算能力。待处理数据将分布在多个存储磁盘/存储器上，通过让每台计算机仅处理可用数据（即自身存储磁盘或RAM内存），从而限制I/O传输。

本书通过以下方式有效利用外部资源：

H2O框架

Hadoop框架及其组件，如HDFS、MapReduce和另一个资源协商器(YARN）

Hadoop之上的Spark框架

每一个框架都将由Python控制（例如，Spark的Python接口名为pySpark）。

机器学习 Python

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。