从ModelArts-Lab AI实战营第二期谈如何优雅的上传对象到OBS

到了晚上，在群友jimmy和Sun的热心提点下，说通过另外一种类似命令行操作窗口的小软件，可以获得很稳定的上传效果，而且速度还很快，是华为内部的一个工程师告诉的方法，于是，我就去尝试用obsutil这个工具去上传数据集，在他们两个提点下，我去仔细的看完官方提供的obsutil使用方法，终于搞定了怎么快速，稳定的把模型训练需要的“燃油”---数据集优雅的上传到华为云的 SBS桶里，而且经过实测，速度确实很快，五百多MB通过我100M的网速 5分钟就是上传到了 OBS桶里，为了方便后面训练模型，优雅的上传自己的数据集到华为云上，下面把详细的步骤告诉大家，以便大家后续开心的在华为云上训练自己的模型。

1、下载obsutil上传工具

先去下载地址根据自己的操作系统下载好对应的obsutil文件。下载完成后windows环境下在解压文件夹里记得先执行文件夹下的setup.bat。

2、使用obsutil上传文件

打开obsutil后，发现其类似于一个命令行窗口，如下所示，针对我等习惯windows下的小白，其实其操作基本和命令行操作类似

如果你要上传一个文件，就用如下命令，比如我这次要上传猫狗数据集  dog_and_cat_25000.tar.gz 到我在上一集创建的OBS桶

obsutil cp d:\dog_and_cat_25000.tar.gz obs://ai-course-teddybear/dog_and_cat_recognition/data

输入上述命令，当然，你也可以复制我的命令，在本地随便一个文档粘贴然后修改好你的命令，再粘贴到你命令窗口，回车，就开始稳定流畅的上传你的数据集了，就这么简单，上传过程如下。

3、如果你要你的一个文件夹及里面所有的文件，其命令如下：

obsutil      cp d:\temp obs://bucket-test/temp -f -r

以我第四期上传 D盘下的VOC2007 为例，首先还是可以通过 OBSBrowser 在自己的桶里建立文件夹PracticeCamp-Phase-4，然后输入如下命令：

obsutil cp d:\VOC2007 obs://ai-course-teddybear/PracticeCamp-Phase-4 -f -r

看到进度条后，就表示正在把我本地 D盘下的VOC2007文件夹上传到我刚刚在我自己桶里的PracticeCamp-Phase-4文件夹

4、通过obsutil 创立文件夹

如果自己电脑上没有安装 OBSBrowser 或者不想那么麻烦，也可以通过如下命令在桶里建立文件夹，比如我新建一个Test文件夹

obsutil mkdir obs://ai-course-teddybear/PracticeCamp-Phase-4/Test

7/28 补充如下：

5、通过obsutil 删除你桶里的对象

如果你哪天觉得自己桶里很多无用的数据集占用了过多的空间的话，你可以通过如下命令删除一些内容。

obsutil rm obs://ai-course-teddybear/dog_and_cat_recognition/data/dog_and_cat_25000.tar.gz -f

下面是删除里指定文件里的所有内容：

obsutil rm obs://ai-course-teddybear/dog_and_cat_recognition/data -r -f

util rm obs://bucket-test/key -fDelete object [key] in the bucket [bucket-test] successfully!

好了，以上就是给各位分享 怎么优雅的上传数据集和在桶里创立文件夹，通过以上方法，可以快速，稳定的把自己的数据集上传到华为云的OBS服务器里，再结合Modelarts平台训练模型，以上，就是如何优雅的上传对象到OBS，完~

OBS 深度学习 ModelArts

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。