微软OneNote客户预览版学习工具下载(暂未上线):教学好帮手
1471
2022-05-30
随着深度学习技术的不断发展,图像识别的精度不断提升。深度学习取得成功的关键因素之一是大规模的数据进行模型训练。与机器相比,人类却可以通过少量样本快速学习新事物。小样本学习模拟人类快速学习新事物的能力,主要研究如何通过少量样本学习识别模型。由于在大多数场景下,图像的获取与标注是十分困难的,近年来小样本学习逐渐成为当前的热点研究问题。本文从小样本学习定义,当前主流方法以及小样本学习的前沿方向三个角度,对小样本学习进行全面的分析。
1. 小样本学习定义
小样本学习主要研究如何通过少量样本学习识别模型。目前学术界普遍研究的是N-way-K-shot问题。即进行N个类别的识别,每类有K个样本。通常情况下K比较小。当前的小样本识别方法主要利用了元学习的方法,通过大量的辅助数据学习元知识,迁移到目标任务中。因此,在小样本学习中,还包含与目标任务相似的其他任务的数据,如下图所示。
2. 小样本学习主流方法
本节内容从数据,模型,优化三个方面对当前的主流方法进行划分。
(1)数据:小样本学习的根本问题在于目标任务数据量少,难以训练出鲁棒的识别模型。因此,扩充数据可以从根本上解决小样本问题。目前应用较广的扩充数据的方法包括传统的数据增强方法(如旋转,平移,缩放等);不同前景背景拼接,生成多样化图像;相似类的类内变化迁移;从弱标注数据中筛选出与目标任务相似的样本(半监督场景);图像生成方法(GAN, VAE)等生成多样化的图像或特征。
(2)模型:从模型的角度解决小样本问题,其关键在于如何利用辅助数据学习鲁棒的,泛化性强的模型。[a] 多任务学习模型:该类方法主要利用了不同任务之间的相关性,共享底层特征,然后针对不同任务学习任务独有特征。通过参数共享的方法,可以有效减少新任务需要学习的参数数量。 [b] 度量学习模型:该类方法的主要思想是通过辅助任务学习泛化性强的度量空间,在不更新参数的情况下可以适用到新任务中。由于该类方法无需更新模型参数,在一定程度上可以避免目标任务过拟合现象。目前该类方法在小样本识别中可以达到相对较好的性能,研究比较广泛。[c] 记忆模型:该类方法主要模拟了人的记忆机制,通过在辅助任务中学习记忆模块,不断积累知识,应用到新任务中,从而提升模型的泛化性。
(3)优化:从优化的角度解决小样本问题,其关键在于如何设计优化方法来避免小样本数据带来的过拟合现象。[a] 模型微调:采用一定的策略进行模型微调(如提前终止;部分参数更新等),避免小样本数据导致模型过拟合。 [b] 元学习初始化:该类方法的主要思想是学习适用于不同任务的鲁棒的初始化参数,使得在新任务中通过少量样本,少量迭代优化次数便可获得性能好的识别模型。[c] 元学习优化器:与传统方法不同(通过梯度下降的方式进行模型更新),该类方法的主要思想是学习元优化器,可以根据任务输出模型更新的参数,指导模型更新,避免少量数据带来的模型过拟合问题。
3. 小样本学习前沿方向
(1)数据生成:数据生成从根本上解决小样本问题。目前基于生成的方法在小样本学习中被广泛使用。该类方法的研究点在于如何利用少量样本生成多样性强,信息量丰富的样本。
(2)元学习:元学习在小样本识别中被广泛使用,它通过辅助数据学习元知识迁移到目标任务中。该类方法是最接近人类认知的方法,但如何学习知识,积累知识,避免过拟合,仍然处于起步阶段,具有很大的研究空间。
(3)知识利用:在数据量少的情况下,通过语义知识辅助图像识别是一种比较合理的方法。语义知识(如属性,文本描述等)是经过人类抽象的语义信息,可以有效的表示不同的类别。通过语义知识可以有效辅助目标类的识别任务。该类方法的挑战在于如何定义并提取与类别相关,迁移性较强的语义信息。
(4)广义小样本识别:目前的小样本识别任务主要研究小样本类别的分类。但现实世界中不仅只有小样本类,具有大量数据的辅助类同样需要识别。泛化小样本识别将辅助类与小样本类放到一起同时识别。该任务的核心在于如何解决数据不均衡的分类问题,避免在大数据类别上的过拟合现象。
(5)小样本检测与分割:检测和分割的应用比较广泛。相比于识别任务,检测与分割的难点在于目标的定位。如何利用小样本数据识别并定位目标存在更大的挑战,具有更大的研究价值。
EI EI创新孵化Lab
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。