R-CNN（论文）

Introduction

• SIFT/HOG都使用了局部方向直方图，因此缺乏对层次性多个阶段任务的识别能力
• R-CNN通过多层卷积网络，可以对图像区域进行分类，从而输出分类边界框和分割蒙版
• R-CNN相比低级图像特征可以获得更好的分类结果，在多个种类的物体上都有好的表现
• 物体检测里的两个挑战：定位技术，数据（有效的标签数据较少）
  • 定位技术（Localization）：
    • operating?within?the “recognitin?using?regions”?paradigm
    • 测试阶段有2000左右的独立候选区域，每个勾选区域输出定长的CNN特征（忽略每个区域的形状），每个候选区域由线性SVM进行分类
    • R-CNN结构示意

? ?

• 数据方面的挑战
  • 使用非监督的预训练，结束后有监督的进行微调（Fine-Tuning，FT）
  • 使用ILSVRC监督预训练，再使用小数据集微调
  • fine-tuning可以使结果上升8个百分点

Object?detection?with R-CNN

• 构成模块：
  • 生成候选区
  • 提取定长特征的大型CNN网络
  • 线性SVM
• 模块设计：
  • 候选区：
    • selective?search
  • 特征提取
    • 4096维
    • input 227*227，RGB，5个卷积层2个全连接层
• Test-time?detection
  • NMS去除重复区域(Intersection-over-union, IoU)
• Training
  • Supervised?pre-training
    • ILSVRC 2012数据集
    • 不使用bounding?box和标签
    • 分类效果接近AlexNet
  • Domain-specific?fine-tuning
    • 候选区
    • SGD训练CNN参数，学习率0.001（初始化的1/10）
    • ImageNet最后的分类层换为随机初始化的21（20+1）的分类层
    • 每个候选区>=0.5的IoU是正样例
    • 均匀采样32个正样例和96个background构建128的mini-batch
  • Object?category?classiers
    • IoU 0.3去除一些只包含一部分样例的图片（车的一部分，算车还是negative）
    • Hard Negative Minning

---

Fast R-CNN（论文地址）

Intorduction

• Object?detectin的挑战：

• 大量的候选区
• 获得位置是大致的，需要进一步优化
• R-CNN
  • 多个步骤
    • 在候选区调整ConvNet
    • SVM
    • 生成bounding-box
  • 训练成本大
  • 慢
• SPPNet
  • R-CNN基础上共享计算，feature map
• Advantage
  • high?quality
  • single-stage?training，using?multi-task?loss
  • training?can update all network layers
  • No disk storage is required for feature caching

• Architecture
  • 输入：完整图像+候选区域集合
  • 首先：处理整张图像获得卷积feature map
  • 然后：RoI pooling(从每一个候选区提取定长的feature?map)
  • 输出层：
    • 背景
    • four real-valued numbers for each of the K object classes
      • each set of 4 values encodes refined bounding-box positions for one of the K classes
  • 优化的bounding-box

? ? ??

?

• Initializing from pre-trained networks
• Fine-tuning for detection
  • feature sharing during training
    • SGD mini-batch,按层次进行
      • 先采样N个图像
      • 然后每张图采样R/N个RoIs
      • 来自同一张图像的RoIs在前后向传播中共享计算（？）和缓存
• Multi-task?loss
  • 有两个输出层
    • 一个输出离散的概率分布（softmax）
    • bounding-box?regression?offset