华为云ModelArts零基础入门使用方法丨【AI贺新年】

本篇内容一共3500字，以猫狗分类项目为例展示对ModelArts所有基础用法。这些模块在一次模型训练中不需全部用到，请根据需要跳转到相应模块：.

想快速完整体验深度学习/机器学习流程的初学者->自动学习

已经完成项目代码，想提高训练速度/习惯使用notebook，想要边写边调试的专业人士->开发环境

需要用到逐个功能/在其中订阅个别产品（如算法、AI应用等）->数据管理、算法管理、训练管理、AI应用管理、部署上线

基本介绍

ModelArts是华为开发的人工智能领域使用的线上云平台，可以有效解决算法工程师们设备硬件性能低，不能够高效地训练模型、评估效果等问题。就比如说，尤其是接触深度学习以来，随着模型层数越来越深，自己的电脑配置已经远远达不到跑模型的标准了，但又不想立即换电脑。这时按需收费的云平台就是最合适的选择，ModelArts就是这类产品。

话不多说，上教程。

准备工作

1. 找到产品

在华为云官网上切换为中国站。

点击人工智能->AI平台ModelArts。

2. 注册/登录账号

如果之前没有华为云账号需要注册一个，并且需要实名认证，此处需要18岁以上，若是未成年，可以拿家长的身份证进行认证。登录完之后选择管理控制台。

3. 上传数据集

数据提取

体验数据标注 (src:kaggle)：

链接：catdog dataset 提取码：xcb1

完整项目（数据集已标注，无需解压）：

链接：catdog 提取码：scef

机器学习、深度学习需要训练样本，所以想在云端操作数据，首先需要将本地数据上传到华为云的服务器中。但是只依靠电脑上传效率低，如果数据量过大的话，需要下一个配套软件OBS Browser+。

OBS Browser+

下载方式很简单，打开此链接华为云OBS Browser+下载，选择合适的版本进行安装。

下载后登录有三种方式，AK密钥方式、账号登录、授权码登录。第一次可以使用AK和账号登录。

账号登录方式可以为刚刚注册的华为云账号，但只支持账号名登录，不支持手机登录，比较简单方便。

AK方式需要按照操作获取AccessKey，验证一下手机号即可，也非常方便。

点击获取AcessKey会弹出以下界面。

按照提示输入手机号验证，完毕后点击下载文件，点击csv文件将AK和SAK复制到登录界面中。登录完成进入以下界面。

为了更好管理云平台中的数据，需要为每个项目数据创建一个桶，相当于一个文件夹，也可以叫做硬盘的分区。

创建完成之后将数据上传即可。

使用步骤

一、 自动学习

此步骤是通过机器学习使不具备算法开发能力的业务开发者实现算法的开发，也可以用来帮助初学者了解整个机器学习/深度学习的流程。这里会从零完整演示一个项目，如果读者是专业人士，请移步到板块二。

1. 将账号授权。

2. 创建项目

这里以物体检测为例。物体检测与图像分类的区别是它除了能够识别类别，还能判断出物体的位置。

3. 标注数据

如果数据集已经完成标注可以跳过此步。

这样就标记好一张照片啦！接下来把剩下的都标记出来。

如果数据集中自带标记数据，就将标记的xml文件和源图在OBS中存储放在一个文件夹中，在已标记中同步数据源即可。如图所示：

4. 训练数据

使用的是华为云中自带的算法训练，所以相当“傻瓜式操作”，上手非常容易。

确认提交后，等待一段时间。注意自动学习免费版本仅用于体验，训练超过一小时会自动终止，相当于白训练了，所以样本量不能太大！博主训练了将近500张图片，训练了25分钟（效率可参考）。出现以下界面就代表训练完成了。接下来就需要部署上线，测试我们模型在真实情况下的准确率。

5. 部署上线

点击上传、预测即可显示出算法的威力，仅有500张训练照片，可以看出来云端内置算法预测精度还是比较准确的。

二、数据管理

此模块可以用来标注数据，存储训练数据，也可以将自己创建的数据分享到社区。如果数据量少的可以直接在这个步骤上传，数据量大的需要借助华为云对象存储OBS将数据批量上传，速度非常快。

1. 数据集

想要把OBS的数据加载到ModelArts，使他们产生联系，首先需要创建一个数据集。如果在自动学习中已经体验一遍了，这里应该有刚才加载的数据集，若没有，则需要按照上文同样方法进行创建。

2. 数据标注

步骤与上文自动学习部分数据标注大致相同。当然这里可以团队合作一起标注。

但需要注意的是尽管有多边形可以更精准的勾勒出狗狗位置，但与算法不兼容，训练时会报错；后面几种效果也不是很理想，所以最好选用矩形标记。

当数据标注完成后，点击发布，可以生成一个版本，再后续训练过程中可以直接使用，或在下一个操作中出错可以恢复到当前状态。

3. 标注团队

团队一起合作标注的步骤是首先创建一个团队。

其次在标注作业创建过程中选择“启用团队标注”，选择对应团队即可。

4. 数据处理

此模块是针对图像的预处理模块，如数据清洗、数据增强等可以使数据更可靠，从而提升模型预测准确率。目前只包含图像预处理，文本预处理需要自行解决。

步骤为：点击数据处理->创建->选择合适的处理方式（数据增强/数据清洗等）->定义图片输入输出目录->点击创建，然后等待部署成功，显示如下。

三、开发环境

开发环境相当于为开发者创建一个可以在线编写代码的集成环境IDE，可以将本地代码复制到这里，也可以直接编写，方便调试。在这一步直接像在自己电脑上的notebook里面一样操作，只是使用了云端的CPU和GPU进行加速，针对此项目不需要再使用后续模块。

创建完之后点击进入notebook。

输入以下命令并运行，可以将OBS数据同步过来。第一个路径指OBS中项目文件路径，第二个指服务器存放路径。

import moxing as mox mox.file.copy_parallel('obs://XXX/XXX','/home/ma-user/work')

中途创建可视化，打开terminal输入tensorflow --logdir 存放路径

打开控制板中的tensorboard即可看到

四、算法管理

其实相当于算法代码管理，可以保留原始版本记录，将代码更好的管理起来，但在此模块中并不能训练。

在上传到ModelArts后台之前需要先将代码文件夹存放到OBS中，存放的步骤同上文(准备工作->上传数据集)。

想要后续在ModelArts上训练，由于ModelArts是将OBS中的数据下载到后台再进行训练的，因此源代码中的训练路径这时不可用，需要当做一个参数动态调节。想实现添加参数需要两步：

在建立算法时要创建输入参数、输出参数

添加输入参数之后会自动添加对应的超参，也就是为了在自己的代码中识别出这是个外部的参数可以做修改，相当于在源代码中加入以下语句（默认存放数据的路径参数叫data_url，名称根据自己的代码调整）：

parser.add_argument('--data_url', type=str, default=None, help='test')

也可以自行添加超参（训练时可以手动修改的参数），如max_epochs等。

随后点击确定算法就创建成功了。

五、训练管理

调整好点击创建，开始训练，训练完后会显示已完成。

六、AI应用管理

1. AI应用

如果训练出来的结果不错，可以将算法代码（带调整好的参数）一起保存为一个模型，也叫AI应用。点击一个训练任务，可以直接创建AI应用。另华为云中有内置效果不错的模型，可以订阅拿来使用。

2. 模型转换

这部分板块适用于将算法集成于硬件中（例如摄像头），可以将数据格式进行转换。

七、部署上线

这一步就是模型上线直接利用真实值看效果了，初学者使用在线服务足矣。

点击可以上线的模型（AI应用），点击在线服务。

基本上不做修改，保持默认即可。

打开部署任务，依次上传图片、点击预测，结果如下。

八、AI Gallery社区

前面七个板块都是供开发者进行模型实操作业，而AI Gallery社区更像是聚集各个优秀开发者的一个大家庭。在此模块，每个人都可以通过论坛、活动等模块了解行内最新消息；跟着教学模块的路线学习提升自己；还可以参加活动比赛提升世面、认识大佬；查找案例库对行业中的热门方向拥有较强的把握，对于找工作的人士有相当大的指引作用。

总之，想学好AI的朋友一定不要错过这个网站。链接在此，赶快进来逛逛吧！

总结

总体看来ModelArts较同类产品还是非常具有优势的，尤其是在可用性、完善性、易用性方面，对初学者来说非常友好。当然还有更高级更专业的功能等着我们去探索。此刻就行动起来吧，高峰只对攀登它而不是仰望它的人来说才有真正意义。

活动名称及链接地址：【华为云AI贺新年】有奖征文火热进行中：https://bbs.huaweicloud.com/blogs/325842

AI开发平台ModelArts

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。