Python大规模机器学习》 —1.1.4使用Python进行向外扩展

网友投稿 618 2022-05-28

1.1.4使用Python进行向外扩展

这只需将多台计算机连接成一个集群即可。连接机器(向外扩展)时,你还可以使用更强大的配置(从而扩展CPU、内存和I/O)来扩展其中的每一个,从而应用前面提到的技术并提高它们的性能。

《Python大规模机器学习》 —1.1.4使用Python进行向外扩展

通过连接多台机器,能够以并行方式利用其计算能力。待处理数据将分布在多个存储磁盘/存储器上,通过让每台计算机仅处理可用数据(即自身存储磁盘或RAM内存),从而限制I/O传输。

本书通过以下方式有效利用外部资源:

H2O框架

Hadoop框架及其组件,如HDFS、MapReduce和另一个资源协商器(YARN)

Hadoop之上的Spark框架

每一个框架都将由Python控制(例如,Spark的Python接口名为pySpark)。

TensorFlow python 机器学习

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:mknod命令
下一篇:股市学习稳扎稳打(五)不同的行业里面,那些公司能够多年持续稳定的有盈利和增长
相关文章