FPN论文笔记

背景

概述

  • 原来多数的object detection算法都是只采用顶层特征做预测,但我们知道低层的特征语义信息比较少,但是目标位置准确;高层的特征语义信息比较丰富,但是目标位置比较粗略。另外虽然也有些算法采用多尺度特征融合的方式,但是一般是采用融合后的特征做预测,而论文中不一样的地方在于预测是在不同特征层独立进行的。

内容

  • old->now
    • a)图是使用图像金字塔建立的特征金字塔(从不同尺度的图像中得到的特征),每个特征独立的用于预测,速度慢。
    • b)图是普通的单尺度特征,速度快。
    • c)图是每个卷积后的特征独立用于预测。
    • d)图是论文中提出的FPN网络,顶层通过上采样和低层特征融合,每层独立做预测。


  • 对比
    • 当然也有跟作者类似的经过多次上采样并融合特征,拿最后一步生成的特征做预测。
    • 作者的则是每一层独立预测。


  • FPN详解
    • Bottom-up pathway:普通前向传播
    • Lateral connections:横向连接
    • Top-down pathway:融合高层和低层的特征;高层语义特征丰富,目标位置粗糙;低层语义特征少,但目标位置准确。注意,在融合之后feature map还要经过3*3的卷积核卷积来消除上采样导致的混淆现象(aliasing effect)