无法访问你试图使用的功能所在的网络位置。是什么原因?
636
2022-05-30
论文题目:Faster R-CNN: T owards Real-Time Object Detection with Region Proposal Networks
论文链接:https://arxiv.org/abs/1506.01497
研究目标
Faster R—CNN网络介绍
Faster R—CNN结构
Faster R—CNN具体可分为四个结构:
Conv layers:作为一种CNN网络目标检测方法,Faster RCNN首先使用一组基础的conv+relu+pooling层提取image的feature maps。该feature maps被共享用于后续RPN层和全连接层。
Region Proposal Networks:RPN网络用于生成region proposals。该层通过softmax判断anchors属于 positive或者 negative,再利用bounding box regression修正anchors获得精确的proposals。
Roi Pooling:该层收集输入的feature maps和proposals,综合这些信息后提取proposal feature maps,送入后续全连接层判定目标类别。
Classification:利用proposal feature maps计算proposal的类别,同时再次bounding box regression获得检测框最终的精确位置。
下图是VGG16模型中的faster_rcnn_test.pt的网络结构,可以清晰的看到该网络对于一副任意大小PxQ的图像,首先缩放至固定大小MxN,然后将MxN图像送入网络;而Conv layers中包含了13个conv层+13个relu层+4个pooling层;RPN网络首先经过3x3卷积,再分别生成positive anchors和对应bounding box regression偏移量,然后计算出proposals;而Roi Pooling层则利用proposals从feature maps中提取proposal feature送入后续全连接和softmax网络作classification。
python版本中的VGG16模型中的faster_rcnn_test.pt的网络结构。Conv layers部分共有13个conv层,13个relu层,4个pooling层
Conv layers
Conv layers包含了conv,pooling,relu三种层。所有的conv层都是:kernel_size=3,pad=1,stride=1。所有的pooling层都是:kernel_size=2,pad=1,stride=1。
Region Proposal NetWork(RPN)
经典的检测方法生成检测框都非常耗时,如R-CNN使用SS(Selective Search)方法生成检测框。而Faster RCNN则抛弃了传统的滑动窗口和SS方法,直接使用RPN生成检测框,这也是Faster R-CNN的巨大优势,能极大提升检测框的生成速度。
RPN网络结构
上图展示了RPN网络的具体结构。可以看到RPN网络实际分为2条线,上面一条通过softmax分类anchors获得positive和negative分类,下面一条用于计算对于anchors的bounding box regression偏移量,以获得精确的proposal。而最后的Proposal层则负责综合positive anchors和对应bounding box regression偏移量获取proposals,同时剔除太小和超出边界的proposals。其实整个网络到了Proposal Layer这里,就完成了相当于目标定位的功能。
Anchor
在每个滑动窗口的位置,我们同时预测多个Region Proposal,每个位置最大可能的Proposal设置为k。每个回归层输出4k个坐标(即x,y,w,h),分类层输出2k个Scores。RPN默认设置为3 Scale,3 aspect ratios,因此每个位置输出9个anchor。对于大小为W×H(通常为2400)的卷积特征图,总共有W Hkanchor。如下图所示:
注意:全部anchors拿去训练太多了,训练程序会在合适的anchors中随机选取128个postive anchors+128个negative anchors进行训练
Loss Function
我们定义在faster r-cnn中,最小化多任务损失,公式如下:
公式中,i是mini-batch中anchor的索引,是如果框出来的anchor是目标的概率。如果anchor是positive的话,ground-truth label为1,否则为0。是预测框的参数化向量。是标注的框。
和通过参数来平衡。在论文的设置中,=256,=2400,=10。
对于bounding box regression,我们采用如下的四个坐标,具体含义可以参照原文:
训练RPN
RPN可以通过反向传播和随机梯度下降(SGD)进行端到端的训练。我们遵循“以图像为中心”的采样策略来训练这个网络。每个小批都来自一个包含许多正面和负面示例anchor的图像。我们可以对所有anchor的损失函数进行优化,但这将偏向于负样本,因为它们占主导地位。相反,我们在一张图像中随机抽取256个锚点来计算一个小批量的损失函数,其中抽样的正锚点和负锚点的比例高达1:1。如果一个图像中有少于128个positive样本,我们用negative样本填充这个小批。
ROI Polling
ROI Pooling的作用是对不同大小的region proposal,从最后卷积层输出的feature map提取大小固定的feature map。因为全连接层的输入需要尺寸大小一样,所以不能直接将不同大小的region proposal映射到feature map作为输出,需要做尺寸变换。即将一个hw的region proposal分割成HW大小的网格,然后将这个region proposal映射到最后一个卷积层输出的feature map,最后计算每个网格里的最大值作为该网格的输出,所以不管ROI pooling之前的feature map大小是多少,ROI pooling后得到的feature map大小都是H*W。
下面是ROI polling layer层的一个经典动图:从图中可以直接看到ROI polling是怎样使输出都是固定的形状。
classification
Classification部分利用已经获得的proposal feature maps,通过full connect层与softmax计算每个proposal具体属于那个类别(如人,车,电视等),输出cls_prob概率向量;同时再次利用bounding box regression获得每个proposal的位置偏移量bbox_pred,用于回归更加精确的目标检测框。Classification部分网络结构如下图所示。
从RoI Pooling获取到7x7=49大小的proposal feature maps后,送入后续网络,可以看到做了如下2件事:
1、通过全连接和softmax对proposals进行分类,这实际上已经是识别的范畴了
2、再次对proposals进行bounding box regression,获取更高精度的rect box
Faster RCNN训练
Faster R-CNN的训练,是在已经训练好的model(如VGG_CNN_M_1024,VGG,ZF)的基础上继续进行训练。实际中训练过程分为6个步骤:
在已经训练好的model上,训练RPN网络,对应stage1_rpn_train.pt
利用步骤1中训练好的RPN网络,收集proposals,对应rpn_test.pt
第一次训练Fast RCNN网络,对应stage1_fast_rcnn_train.pt
第二训练RPN网络,对应stage2_rpn_train.pt
再次利用步骤4中训练好的RPN网络,收集proposals,对应rpn_test.pt
第二次训练Fast RCNN网络,对应stage2_fast_rcnn_train.pt
下面是一张训练过程流程图:
Faster R-CNN在各项数据集上的表现
开源代码
https://github.com/rbgirshick/py-faster-rcnn
神经网络
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。