ModelArts中使用开发环境的notebook上传数据集至OBS

使用ModelArts通常需要上传较大的数据集到OBS，我们可以选择OBS客户端上传，在没有OBS客户端的情况下，则可以选择使用NoteBook上传数据，来提高数据上传的效率。下面介绍一下如何借助NoteBook上传数据集到OBS。

1、创建一个notebook，此处建议选择挂载在EVS硬盘下，方便NoteBook多次启动数据不会丢失。

2、打开notebook，点击右上角new按钮，点击Terminal打开一个Terminal

3、使用wget命令（wget https://modelarts-cnnorth1-market-dataset.obs.cn-north-1.myhuaweicloud.com/dataset-market/Flowers-Data-Set/archiver/Flowers-Data-Set.zip）， 下载数据集至默认目录,可以使用pwd查看当前目录，ls查看该目录下是否包含下载的数据集。

4、解压下载的数据集到指定文件夹,解压命令：unzip Flowers-Data-Set.zip -d /home/ma-user/Flowers-Data-Set

5、cat README,使用其中的for Conda-python3命令激活一个Conda环境

6、python,打开python环境，import moxing as mox，引用moxing

7、使用moxing接口上传数据集至OBS指定目录（moxing接口指导文档：https://github.com/huaweicloud/ModelArts-Lab/blob/master/docs/moxing_api_doc/MoXing_API_File.md）

上传命令：mox.file.copy_parallel('/home/ma-user/Flowers-Data-Set', 's3://modelarts-cn-north-4-08aae033/mnist_pycharm/dataset')

8、查看OBS路径，数据集上传成功

备注：下载数据集同理，使用moxing接口，路径反向即可。

Python 对象存储服务 OBS

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。