上手ModelArts可能会遇到的问题

前言：

通过软件杯的比赛有幸接触到了华为云ModelArts平台，在学习人工智能的过程中，由于本地硬件的不足及环境的配置产生种种错误，在前期便花费了大量时间。配置好环境之后由于GPU配置导致训练时间过长，而ModelsArts平台能够在云上快速配置环境，其优秀的GPU使训练时间大打折扣。这使我们能够快速地训练模型，节约了大量时间成本。除此之外，华为云上的一些自动学习教程如物体检测，图像分类等，有助于新手进行入门。但在初次使用ModelsArts训练过程中难免会遇到一些问题，本文章总结了一些刚接触ModelsArts平台可能会遇到的问题。

将本地与OBS桶文件传输：

OBS桶可用于存放大容量文件，且存取速度极快。OBS Browser+是可进行图形可视化操作的工具，方便ModelArts开发环境，obs桶，本地环境文件的传输。

下载完OBS Browser+后即可创建桶，然后可将本地的文件或文件夹上传到obs桶中。

ModelArts开发环境与OBS桶文件传输：

首先需进入ModelArts开发环境，创建notebook实例，资源、类型、规格可自行按需选择，存储配置选择云硬盘（EVS），注：笔者在使用时选择对象存储服务（OBS）无法将文件与obs桶相互传输。使用云硬盘evs可使用moxing进行文件传输，且文件传输效率快。

创建实例后，接下来将演示如何将obs桶中的文件传输到notebook中。如图，要将名为ton中的文件夹data中的文件train.txt传输到notebook中

则需要在notebook中输入以下代码

import moxing as mox    mox.file.copy('obs://ton/data/train.txt','./data/train.txt')

如图，train.txt已传输到notebook中文件夹data（若无该文件夹则新建）。

若要传输文件夹

import moxing as mox    mox.file.copy_parallel('obs://ton/data/folder','./data/folder')

可以看到，名为folder文件夹中的所有文件已被传输至notebook中。

同理，将notebook中的文件传输至obs桶中，只需将路径调换即可。

工作路径：

在使用notebook开发环境中，需要用到终端，如需要打开根目录下的文件hello.py

则可进入终端输入以下指令，效果如下图所示

cd work python hello.py

安装库：

由于notebook实例停止运行时除了work工作路径下的文件会被清空，因此每次进行训练时都需要重新安装依赖库，建议将所有需要安装的库写在一个txt文件中，这样可通过pip一键安装，节约时间。如requirements.txt文件中记录了以下需要安装的库。

接下来需要进入requirements.txt所在路径（本文中该文件位于根目录work下）

cd work pip install -U -r requirements.txt

执行完指令后可以看到库正在安装，且速度极快。

以上即为总结的所有内容。

AI开发平台ModelArts 对象存储服务 OBS

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。