【模型评估(一)】AI市场模型评估端到端流程打通

1 概述

模型评估一般从以下几个指标评判模型的好坏，然后针对不同的指标情况，给出一些优化方向的建议。

精度评估

以二分类为例子。

准确率(accuracy、查准率):正确分类的样本占总样本个数的比例。为了避免测试集中正反例不平衡情况下，提出了精确率和召回率。

精确率(precision、查全率):是指预测为正例中真实正例所占的比例。

召回率(Recall):是指真实的正例中预测为正例所占的比例。

P-R曲线(Precision-Recall):是以召回率为横坐标，精确率为纵坐标的图。

F1值：综合P及R的加权调和平均级数。

混淆矩阵:即根据预测结果和实际结果绘制的矩阵表格，如上图二分类样例中的图片。

ROC(Receiver Operating Characteristic):以FPR(False Positive Rate,假正例率,假阳性率)为横坐标，TPR(True Positive Rate,真正例率，真阳性率)为纵坐标绘制的图。

1.选择了sensitivity(灵敏度)和specificity(特异度)两个可以去除样本不平衡的指标

2.AUC(Area Under Curve)：一般指ROC曲线下部分的面积。

2 AI市场模型评估支持情况

(1)目前已经支持模型评估的预置算法

图像分类

ResNet_v1_50

ResNet_v1_101

ResNet_v2_101

Res2Net_50

MobileNet_v1

MobileNet_v2

Inception_v3

Inception_Resnet_v2

物体检测

FasterRCNN_ResNet50

EfficientDet

SSD-MobileNet_v1-PPN

retinanet_resnet_v1_50

3 ResNet_v1_50实践流程

(1)准备工作

请参见 账号申请 和 数据准备，注意模型评估当前仅支持manifest数据集且必须切分

(2)市场订阅

进入上面AI市场的算法连接，点击订阅按钮

(3)训练评估

进入训练作业算法管理，选择市场订阅下来的算法创建训练作业，选择之前发布切分好的数据集，就可以开始训练了。

(4)查看评估结果

4 参考文档

https://www.jianshu.com/p/d7a06a720a2b

https://www.zhihu.com/question/30643044

AI AI平台 AI开发平台ModelArts EI企业智能

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。