如何搭建一台永久运行的个人服务器?试试这个黑科技!
1117
2022-05-28
如何用一台10年前的4GB内存集成显卡的笔记本完成模型训练
步骤:
1. 擦擦键盘上的灰
2. 按下电源键
3. 等待10分钟进入桌面
4. 等待5分钟打开浏览器
5. 打开京东买一台新笔记本,然后盘它!!!
思考5秒钟~打开浏览器都困难,跑个模型根本不可能的好吧!
又思考5秒钟~,现在大家都在搞Saas化,云服务商应该有一些产品能搞搞模型训练
打开百度,搜到了百度的Easy DL和华为的ModelArts,撸撸袖子,盘它!!!
使用ModelArts完成模型训练
一系列注册华为云的骚操作后,进入到ModelArts界面。功能还真是多,自动学习、训练管理、AI市场等等。
点进ModelArts的论坛,发现还挺活跃的,很多人在这里提问。也有论坛管理员做一些活动,还能拿一些奖品。
挑了一个口罩识别的案例作为ModelArts入门指导。
链接:https://nbviewer.jupyter.org/github/huaweicloud/ModelArts-Lab/blob/master/contrib/1.%E5%8F%A3%E7%BD%A9%E6%A3%80%E6%B5%8B%E6%A8%A1%E5%9E%8B%E7%9B%B4%E6%92%AD%E5%BC%80%E5%8F%91%E6%8C%87%E5%AF%BC%E6%96%87%E6%A1%A3/mask_detect.ipynb
基本上参考案例操作就可以了。
不过要专门下载一个叫OBS Browser的工具去上传数据也有点小麻烦,我的笔记本吃不消啊。
后面发现ModelArts的数据管理界面上就可以直接上传数据,比通过OBS Browser上传的方式方便很多。
而且通过OBS Browser上传还有一个小问题,需要点击【同步数据源】才能把数据同步到ModelArts上,不然ModelArts界面上不会显示新增的图片。而且【同步数据源】在标注界面才有,不太容易找到这个。
ModelArts的【一键模型上线】功能太赞了。在数据上传和标注完后,通过这个功能。在界面上一直点击Next就可以开始训练模型,部署模型了。
而且在各个阶段都有具体的运行详情,比如可以看到训练的日志。
训练和部署的时候也还挺快的,大概13分钟就完成了。
从数据集中挑了几张图片去预测,结果非常准确,准确率能到90%多。
但是预测的速度非常慢,大概要7~8秒钟,猜测原因有几种:1. 我的笔记本太差了T_T 2. 网络太慢了 3. 没有用GPU
经过一系列操作把规格换成P4 GPU后,果然预测的速度变得非常快,马上就出结果了(1秒不到的样子)。
跟着案例只用3步就可以体验一次完整的模型训练过程。感觉还是很好的。
但是我想让我的App去调用我在华为ModelArts的创建的服务。看了下ModelArts的文档似乎还是有一些小麻烦,还是更加喜欢之前的傻瓜式操作,哈哈!
华为ModelArts还有很多功能没有用过,比如难例、自动化搜索、ModelArts Pro(会不会还有ModelArts Plus?)。有时间再看看。
【一键模型上线】这个功能还是很棒的,模型的精度也很高。华为技术值得。
利用云上的资源进行训练,比自己搭建训练环境的成本要低太多了。也许算力上云就是未来的趋势吧。
需要专门下载OBS Browser工具来上传数据就比较麻烦。另外【添加图片】这个功能感觉移动到数据集界面上会更好,现在放在【标注】界面上比较难找。
【同步数据源】这个也放到数据集界面上更好。如果能自动同步就更好了,或者能否探测我的数据有变化,提示我去同步。
一开始标注的时候,我只是框选了口罩。其实应该框选人头会更好。界面上有一些关于标注的指导会更好。PS:后面发现界面右上角有一个【标注样例说明】小提示,这个提示里面有提到如何标注。希望能够有更多的标注指导,帮助到我们这些新手。
一开始预测的性能很差,换成P4 GPU才提升。切换资源界面上是否可以提供一个【一键模型提升】功能或者提示,能够引导我们去提升预测性能。
关于集成ModelArts的预测功能,是否可以提供一个SDK可以直接对接ModelArts的预测服务。我大致看了下文档,需要按照ModelArts 帮助文档对接你们的2个接口才行,怎么说也要100多行的代码量。PS:后面发现有ModelArts SDK,通过这个SDK可以调用预测服务的预测接口。我觉得预测界面上的调用指南可以指引到ModelArts SDK上。
ModelArts SDK是否能支持离线版的模型预测,这样并不需要过于依赖华为云。
使用Easy DL完成模型训练
先玩10分钟的猛男捡树枝先~
ModelArts AI
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。