ModelArts 训练使用共享文件系统指引

网友投稿 701 2022-05-29

当前运行于专属资源池中的训练作业,可以使用华为公有云 弹性文件系统 服务提供的 SFS Turbo 文件系统。

由于专属资源池默认提供的是网络隔离、资源独占的运行环境,因此在使用 SFS Turbo 之前,需要对专属资源池与 SFS Turbo 所处的网络进行配置,以使得训练作业能访问到 SFS Turbo 文件系统。

下文详细描述在 ModelArts 训练中使用共享文件系统的操作流程。

1.1      专属资源池网络地址

专属资源池(开发环境/训练专用)由 ModelArts 服务托管,网络地址默认为 192.168.20.0/24

1.2      SFS Turbo 网络地址规划

注意到专属资源池的网络地址为 192.168.20.0/24,因此 SFS Turbo 所在的网络地址空间不能与 192.168.20.0/24 地址空间重叠。另外由于底层技术限制,要求网络地址空间网段必须为 192.168。 (该限制,在专属资源池网络配置菜单中有说明)

规划 SFS Turbo 所在网络(VPC)的地址空间,例如 192.168.108.0/24 地址空间。

1.3   创建 SFS Turbo

在已规划好的 VPC 与 Subnet 下创建 SFS Turbo 类型的文件系统

1.4      配置专属资源池网络

于专属资源池的详情页面中,配置专属资源池网络,与 SFS Turbo 所在的网络连通

选择前述 SFS Turbo 所在的 VPC 与 Subnet

1.5      训练作业使用 SFS Turbo

选择已配置好网络的专属资源池

确定后,计算节点个数 下方会出现 选择区域

选择前述已创建好的 SFS Turbo

在训练作业代码中即可通过 /home/work/nas 路径访问 SFS Turbo 文件系统中的数据

ModelArts 训练使用共享文件系统指引

ModelArts

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:面试官:Redis的共享对象池了解吗?
下一篇:蓝凌选择华为软件开发云 开启“云+移动”企业智慧办公新时代
相关文章