如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源

网友投稿 700 2022-05-30

其实ModelArts的帮助手册上已经有一篇文档:https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0021.html,但是我觉得可能开发者还是会存在一些小疑问,所以我自己在本地做了尝试,截图说明过程。

我们实际上使用一个PyCharm ToolKit工具来帮助建立从本地pyCharm IDE到ModelArts的连接通道,本案例我使用MXNet实现手写数字图像识别应用的示例,在本地快速完成代码编写,发布到ModelArts公有云完成模型的训练和模型生成,生成的模型可以进一步快速进行部署(本文没有覆盖该步骤)。

安装toolkit前需要先安装2019.2版本(目前toolkit仅适配该版本)的pycharm,-是:

https://download.jetbrains.com/python/pycharm-professional-2019.2.exe?_ga=2.11170941.815358500.1587189937-686177363.1586569505,也可以去华为云官网下载(好处是那里会持续更新版本,较为及时):https://developer.huaweicloud.com/tools。

需要注意,如果已经安装了高版本的pyCharm,需要首先卸载(自动)已安装的pyCharm:

如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源

下载一个工具Pycharm-ToolKit-PC-2019.2-HEC-1.3.0.zip,连接本地IDE与云之间的链路:

https://www.jetbrains.com/pycharm/download/other.html

解压后看到一堆jar文件,

接着回到pyCharm IDE,打开Settings:

找到Plugins,选择一个插件:

点击RestartIDE:

重启后看到如下界面:

然后我们需要去ModelArts网站申明秘钥:

申请秘钥:

短信验证码注册成功后,请务必把csv文件保存到本机。

回到pyCharm IDE:

注意,如果填写秘钥键值对成功后,Edit Credential应该是要打钩的,如果没有,请查看网络连接是否存在问题,例如不允许连接外网,或是对访问外网有限制。

注意,需要你重新点击edit credential按钮,退出后就能看到打钩了。

这样我们就完成了pyCharm IDE与ModelArts的对接工作,进入下一步,实际训练一个模型。

首先,下载手写字的数据集:https://modelarts-cnnorth1-market-dataset.obs.cn-north-1.myhuaweicloud.com/dataset-market/Mnist-Data-Set/archiver/Mnist-Data-Set.zip

登录华为云上传OBS:

创建两个文件夹,一个用于存放数据集,一个用于存放训练生成的日志(需要传回到pyCharm IDE并显示):

接着在pyCharm打开工程,点击“Run Training Job”:

填写参数,可以参考ModelArts训练模型时填写的参数:

训练完成后,训练模型保存在OBS中 /工程名/output/V0006/

AI开发平台ModelArts GPU加速云服务器

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:C#环境
下一篇:测试工程师职业素质要求
相关文章