2017
Houdini 用来解决对抗样本中 评估指标存在的组合及不可微的问题，组合及不可微的问题是不能通过梯度下降的方法生成对抗样本的。
例如：语音识别，姿势估计，语音分割等。
对于此类问题由两种解决方案：
- 用一个连续的、可微的代理损失函数来代替任务损失、该代理函数必须保证能收敛到任务损失（task loss)
- 直接优化任务损失，例如距离损失最小化等。
两种解决方案的局限性：
- 在一些场景中，代理损失函数的连续性不能得到保证（语音识别，姿势估计，语音分割）
- 直接最小化的方法涉及的计算量大且对超参数的很敏感
Houdini:
以往的寻找对抗样本的任务可以表示为:
但是该任务损失组合数量大,难以直接求解,因此用可微的代理损失求解:
代理损失包含了两个部分:
1.边缘随机
代表实际目标与预测目标的分数的差值小于正态分布Y的概率,它反映了对预测结果的信心.
2.任务损失
当P接近1时或目标标签的分数无边界增长时,houdini会收敛至任务损失.这是其他的损失所没有的独特性质.
Houdini微分得:
要计算表达式右边，我们只需要计算Houdini相对于它的输入(网络的输出)的导数。其余部分通过反向传播获得。损失对网络输出的导数为
当预测目标的分数 与 实际相接近是 e = 1