背景
概述
- 原来多数的object detection算法都是只采用顶层特征做预测,但我们知道低层的特征语义信息比较少,但是目标位置准确;高层的特征语义信息比较丰富,但是目标位置比较粗略。另外虽然也有些算法采用多尺度特征融合的方式,但是一般是采用融合后的特征做预测,而论文中不一样的地方在于预测是在不同特征层独立进行的。
内容
- old->now
- a)图是使用图像金字塔建立的特征金字塔(从不同尺度的图像中得到的特征),每个特征独立的用于预测,速度慢。
- b)图是普通的单尺度特征,速度快。
- c)图是每个卷积后的特征独立用于预测。
- d)图是论文中提出的FPN网络,顶层通过上采样和低层特征融合,每层独立做预测。
- 对比
- 当然也有跟作者类似的经过多次上采样并融合特征,拿最后一步生成的特征做预测。
- 作者的则是每一层独立预测。
- FPN详解
- Bottom-up pathway:普通前向传播
- Lateral connections:横向连接
- Top-down pathway:融合高层和低层的特征;高层语义特征丰富,目标位置粗糙;低层语义特征少,但目标位置准确。注意,在融合之后feature map还要经过3*3的卷积核卷积来消除上采样导致的混淆现象(aliasing effect)