ModelArts-Lab AI实战营第二期谈如何优雅的上传对象到OBS

网友投稿 561 2022-05-28

到了晚上,在群友jimmy和Sun的热心提点下,说通过另外一种类似命令行操作窗口的小软件,可以获得很稳定的上传效果,而且速度还很快,是华为内部的一个工程师告诉的方法,于是,我就去尝试用obsutil这个工具去上传数据集,在他们两个提点下,我去仔细的看完官方提供的obsutil使用方法,终于搞定了怎么快速,稳定的把模型训练需要的“燃油”---数据集优雅的上传到华为云的 SBS桶里,而且经过实测,速度确实很快,五百多MB通过我100M的网速 5分钟就是上传到了 OBS桶里,为了方便后面训练模型,优雅的上传自己的数据集到华为云上,下面把详细的步骤告诉大家,以便大家后续开心的在华为云上训练自己的模型。

1、下载obsutil上传工具

先去-根据自己的操作系统下载好对应的obsutil文件。下载完成后windows环境下在解压文件夹里记得先执行文件夹下的setup.bat。

2、使用obsutil上传文件

打开obsutil后,发现其类似于一个命令行窗口,如下所示,针对我等习惯windows下的小白,其实其操作基本和命令行操作类似

如果你要上传一个文件,就用如下命令,比如我这次要上传猫狗数据集  dog_and_cat_25000.tar.gz 到我在上一集创建的OBS桶

obsutil cp d:\dog_and_cat_25000.tar.gz obs://ai-course-teddybear/dog_and_cat_recognition/data

从ModelArts-Lab AI实战营第二期谈如何优雅的上传对象到OBS

输入上述命令,当然,你也可以复制我的命令,在本地随便一个文档粘贴然后修改好你的命令,再粘贴到你命令窗口,回车,就开始稳定流畅的上传你的数据集了,就这么简单,上传过程如下。

3、如果你要你的一个文件夹及里面所有的文件,其命令如下:

obsutil      cp d:\temp obs://bucket-test/temp -f -r

以我第四期上传 D盘下的VOC2007 为例,首先还是可以通过 OBSBrowser 在自己的桶里建立文件夹PracticeCamp-Phase-4,然后输入如下命令:

obsutil cp d:\VOC2007 obs://ai-course-teddybear/PracticeCamp-Phase-4 -f -r

看到进度条后,就表示正在把我本地 D盘下的VOC2007文件夹上传到我刚刚在我自己桶里的PracticeCamp-Phase-4文件夹

4、通过obsutil 创立文件夹

如果自己电脑上没有安装 OBSBrowser 或者不想那么麻烦,也可以通过如下命令在桶里建立文件夹,比如我新建一个Test文件夹

obsutil mkdir obs://ai-course-teddybear/PracticeCamp-Phase-4/Test

7/28 补充如下:

5、通过obsutil 删除你桶里的对象

如果你哪天觉得自己桶里很多无用的数据集占用了过多的空间的话,你可以通过如下命令删除一些内容。

obsutil rm obs://ai-course-teddybear/dog_and_cat_recognition/data/dog_and_cat_25000.tar.gz -f

下面是删除里指定文件里的所有内容:

obsutil rm obs://ai-course-teddybear/dog_and_cat_recognition/data -r -f

util rm obs://bucket-test/key -fDelete object [key] in the bucket [bucket-test] successfully!

好了,以上就是给各位分享 怎么优雅的上传数据集和在桶里创立文件夹,通过以上方法,可以快速,稳定的把自己的数据集上传到华为云的OBS服务器里,再结合Modelarts平台训练模型,以上,就是如何优雅的上传对象到OBS,完~

OBS 深度学习 ModelArts

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:【云端大事件】如何在云市场挑选好的云产品?
下一篇:47个小时创造5G奇迹
相关文章