对抗性模糊视觉跟踪
1.摘要
- 由于曝光过程物体或摄像机移动导致运动模糊，影响跟踪精度。
- 将输入帧在线转换为自然模糊的对应帧，同时在跟踪过程中误导最先进的跟踪器。
- 设计用于视觉跟踪的运动模糊合成方法。
- 提出：
-
基于优化的ABA(OP-ABA),能够产生自然的对抗例子
-
通过迭代优化一个对抗的目标函数来跟踪运动和光积累参数，会导致大量的时间开销，不适合实时跟踪器。
- 提出
-
ABA(OS-ABA)
-
在OP-ABA的指导下设计和训练一个联合对抗运动和积累预测网络（JAMANet），可以以一步的方式有效的估计对抗运动和积累参数。
2.相关工作
- VOT（视觉目标跟踪）
- 运动模糊合成：运动模糊用来评估跟踪器的质量
- 对抗性攻击
3.具体实施
3.1 视觉跟踪中的运动模糊合成
- 目标：生成一个与之对应的运动模糊攻击，能够在具有自然运动模糊模式的同时，欺骗跟踪器估计出不正确的物体包围盒，
3.2基于优化的模糊攻击
-
建议通过优化与跟踪相关的目标函数来解决这个问题。
-
知道对象位置，根据对象大小将其分为两个区域：对象区域和背景区域
- 在背景区域找到最高响应分数的位置（基于回归的跟踪器DIMP和KYS）
- 设置为交叉熵损失函数（适应于攻击基于分类的跟踪器SiamRPN++）
-
通过带符号的梯度下降，并用指定的步长和迭代次数迭代的更新、
3.3一步对抗模糊攻击
- 提出用新设计的称为联合对抗运动和积累权重，该网络通过目标函数预测，以及自然感知损失函数。
- 本文使用JAMANet分别处理相邻帧和预测标准。还采用一个预训练的网络来估计光流量。
- 使用PWCNet参数的梯度来进行优化。
- 架构是具有跳跃连接的全卷积编码器/解码器模型。
- 损失函数：确保背景内容而不是物体被显得突出。（意味着增强对抗性攻击的能力，忽略了对抗性模糊的自然性）
3.4攻击细节
- 给定一个目标轨迹，在线跟踪过程中通过OP-ABA,OS-ABA模糊每一帧来攻击他。
- 对搜索区域进行模糊处理以加快速度，在检测到的对象为中心裁剪一个搜索区域作为目标。
- 同时从上一帧中裁剪出一个区域，位置与第一帧相同。
- 使用PWCNet来计算光流。采用OP-ABA作为攻击方法，获得带有目标跟踪器和Itif响应图。
- 之后用OP-ABA或OS-ABA来生成对抗性模糊框架。
4.实验结果
- 在四个公共跟踪基准上验证两种方法对最先进的跟踪器的有效性。
- 设计消融实验验证调整（用norm和tuneWt代替At）的影响。
- 就可转移性和帧质量将我们方法与最先进的跟踪攻击进行比较。
4.1评估
- 在OTB100、UAV123和LaSOT数据集方面，我们遵循它们的常见设置，使用包含成功率和精确度两个指标的一次通过评估(OPE)。
- 前者基于所有帧的地面真实边界框与预测边界框之间的交集(IOU)，后者基于地面真实边界框与预测边界框之间的中心定位误差(CLE)。
4.2攻击结果
- 我们攻击了两个SiamRPN++跟踪器，分别使用ResNet50和MobileNetv2作为主干。
- 在OTB100数据集上，OP-ABA使得SiamRPN++与ResNet50的准确率和成功率分别降低了41.7和31.2，几乎是原始分数的50%。
- 算法相比，OP-ABA算法在每次优化时都针对某一位置进行攻击，从而获得了更高的丢弃精度，而OS-ABA算法生成的图像一般是模糊的，使得跟踪者看不到目标。
- 通过比较SiamRPn++(ResNet50)和SiamRPn++(MobileNetv2)的性能降幅，我们发现前者在相同攻击下的精度或成功率下降相对较小，暗示较轻的模型更容易被欺骗。
4.3消融研究
- 讨论了Wt和At对OP-ABA和OS-ABA的影响，通过构造它们的两个变体来攻击OTB100数据集上的SiamRPN++(ResNet50)跟踪器。
- 我们用norm和相反的TuneWt替换ABA，从而分别得到带OAT的OP-ABA和带OAT的OS-ABA。
- OP-ABA w/oAt 可以产生运动模糊的帧，但对预测精度的影响很小。
4.4与其他攻击对比
- 我们通过与基线攻击，即CSA[52]和Spark[22]的比较来研究所提出的攻击的可转移性。
- 我们的方法能够生成更自然的帧。
5.总结
- 提出了一种新的针对视觉目标跟踪的对抗性攻击，即对抗性模糊攻击(ABA)，它考虑了运动模糊的影响，而不是针对最先进的跟踪器的噪声。
- 首先对跟踪过程中的运动模糊合成过程进行了识别，在此基础上提出了基于优化的ABA算法(OP-ABA)。
- 这种方法通过迭代优化跟踪感知目标来愚弄跟踪者，但会造成很大的时间成本。
- 通过训练一个新设计的网络来一步预测模糊参数，我们进一步提出了一步ABA算法。
- 在四个公共数据集上的攻击结果、可视化结果和比较结果表明了该方法的有效性和优越性。