Revisiting multiple instance neural networks
回顾多示例神经网络
1、Abstract
? 近年来，神经网络和多实例学习(MIL)都是人工智能相关研究领域的热门课题。深度神经网络在监督学习问题上取得了巨大的成功，而MIL作为一种典型的弱监督学习方法，在计算机视觉、生物识别、自然语言处理等许多应用中都是有效的。在这篇文章中，我们回顾了多实例神经网络(MINNs)，神经网络旨在解决MIL问题。
? minn采用端到端方式执行MIL，将具有不同数量实例的袋子作为输入，直接输出袋子的标签。MINN中的所有参数都可以通过反向传播进行优化。在对旧的MINN进行回顾的基础上，我们提出了一种新的MINN来学习包表示，不同于现有的专注于估计实例标签的MINN。此外，在MINNs中已经研究了深度学习中发展起来的新技巧;我们发现深度监督对于学习更好的袋子表示是有效的。在实验中，提出的minn在几个MIL基准上实现了最先进的或有竞争力的性能。此外，它在测试和训练方面都非常快，例如，预测一个包只需要0.0003 s，在中等CPU上训练MIL数据集需要几秒钟。
2、Conclusion
? 在本研究中，我们重新审视了minn的端到端学习问题，并提出了一系列具有先进性能的新型minn。与现有的minn方法不同，我们的方法侧重于包级表示学习，而不是实例级的标签估计。实验表明，与实例级网络相比，我们的包级网络在几种MIL基准测试上表现出更好的结果。此外，我们将最流行的深度学习技巧(深度监督和残余连接)集成到我们的网络中，这可以进一步提高性能。此外，我们的方法只需要大约0.0003 s进行测试(向前)和0.008 s进行训练(向后)，这是非常高效的。
3、多示例神经网络
3.1、符号
| 符号 | 解释 |
|---|---|
| Xi | 第i个包 |
| xij | 第i个包中第j个示例 |
| Yi | 第i个包的标签 |
| yij | 第i个包的第j个示例的标签(未给出) |
研究方向：
1、推断网络中的示例标签，将示例的正概率作为网络中的一个隐藏层。(传统方式，论文8、9、17)
2、学习网络中的袋子表示，不计算实例概率直接进行袋子分类(本文)
3.2、mi-Net：an instance-Space MINN
mi-Net:4个全连接层(ReLU)，输出数分别为256、128、64、1。最后一层为MIL池化层，示例概率作为输入(sigmoid)，包概率作为输出。
3.3、MI-Net：a new embedded-Space MINN
MI-Net:3个全连接层(256、128、64)和一个MIL池化层。(之前预测示例，现在预测包)
3.4、MI-Net With deep supervision
根据DSN思想：通过三个全连接层学习示例特征(256、128、64),分别采用3个MIL池化层。
3.5、MI-Net with residual connections
根据残差连接思想：全连接层(128)
3.6、MIL pooling methods
Max
Avg
LSE
3.7、Training loss
采用交叉熵损失
优化算法：随机梯度下降SGD
4、Experiments
4.1、Datasets
药物活性预测:166维特征
MUSK1：包含476例，分为47个阳性袋和45个阴性袋
MUSK2：包含6598例，分为39个阳性袋和63个阴性袋
自动图像标注：每个示例230维，每个包2到13个示例
Elephant
Fox
Tiger
文本分类
4.2、Experimental setup
以上神经网络均包含四个全连接层，其中前三层都加入了dropout(0.5)
采用sgd优化
学习率、权值衰退、动量、MIL池化函数、交叉验证自己调节