“ModelArts人工智能应用开发指南” 人工智能应用开发数据准备学习分享

网友投稿 766 2022-05-30

数据准备

数据准备是非常重要的一个环节

数据准备在现实准备中,面临着各种问题(数据采集难,数据质量差,数据冗余性大,标签少,数据分析难,人工采集成本大等)数据准备不仅重要,且花费工作量非常大,往往在项目开发中,数据相关的工作量占据80%,算法模型准备占据20%

ModelArts在数据管理方面提供了一系列智能化数据服务,大大降低开发成本,提高开发效率

1,数据采集(数据采集是开发人工智能应用时面临的首要问题)

数据采集涉及,图像,视频,音频,结构化表格数据及环境信息等,对于实际应用和模型而言,数据越大越丰富,算法所达到的效果就越好(没有好的数据集,再好的算法,也达不到预期的效果),对深度学习而言,数据量越大,模型表现越好。

“ModelArts人工智能应用开发指南” 人工智能应用开发数据准备学习分享

数据采集的方法可分为几种  1,终端设备采集 (摄像头,无人机,移动设备等)2,网络数据采集(合法合规的情况下,自动捉取数据) 3,基于搜索的数据采集(从已有的数据库中搜索出类似的图像)

2,对于大企业大规模数据的体现 1,数据来源具有分散性 2,数据储存具有多样性3,数据具有多模态属性 4,数据采集具有较强的业务相关性

数据接入 (批量接入,实时流接入)对于已经采集好的数据,要进行大规模的进行分析,建模,则需要将数据接入应用开发平台上。

批量接入,华为CMD,云数据迁移(一键式将数据在不同的存储之间做平滑迁移)

实时流接入,华为 DIS,数据接入服务(一键式将数据迁移到云上)DLI,数据湖探索(对接不同数据) DWS 数据仓库服务 DDS文档数据库服务

OBS对象储存服务(稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据)

OBS在ModelArts实战开发环节中经常使用

OBS资源是服务中存在的对象。在OBS中,资源包括桶和对象,可以在创建自定义策略时,通过指定资源路径来选择特定资源

AI开发平台ModelArts 对象存储服务 OBS

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:DevCloud新手课堂 之 三步学会使用Maven私有依赖库
下一篇:云脉SaaS平台 为企业转型提供便捷通道
相关文章