论文原文：AutoAugment: Learning Augmentation Policies from Data

论文地址：http://export.arxiv.org/abs/1805.09501

上面地址下载的是2019年4月修改后的最新版（v3）

该文是谷歌大脑团队提出的自动数据增强方法，通过强化学习算法寻找每个数据集最合适的增强策略，并且对标预训练模型的迁移学习，可将得到的数据增强策略迁移至不同数据集。

具体的搜索流程：

1、定义N个数据增强方法，都是最基本的一些数据增强方法，比如旋转、平移、翻转等等，每种数据增强方法都有其触发概率和magnitude数值（比如旋转的角度范围）。

2、构造5个子策略方法（论文里是5个，也可以人为定义任意个数子策略进行比较择优），每个子策略方法又由2个数据增强方法构成（同上，只是论文里指定为2）。

3、在某个小数据集中采用这些子策略进行训练验证，选择精度最高的数据增强方案。

搜索算法细节：

????????使用的搜索算法是强化学习。算法有两部分：RNN控制器和训练算法PPO。

????????每一步控制器通过softmax进行决策，决策再输入下一步。总共有30个决策，可以预测5个子策略，每个子策略包括两个操作，每个操作需要两个运算参数，分别是概率和使用量。

????????控制器是用奖励信号训练的，奖励信号表示这个策略对模型泛化有多大提升。在试验中，我们设置了验证集来衡量泛化性。每个模型用5个子策略增强的数据训练：小批量中的每个样本，从5个子策略随机选取一个子策略来增强图像。模型用验证集的准确率衡量，也作为奖励信号来训练控制器。

点评：

这篇论文是自动数据增强的开山之作，缺点是训练实在太慢，把寻找最优增强策略定为离散搜索问题。后续也有一些工作对其进行改进比如fast augment

论文原文：Learning Data Augmentation Strategies for Object Detection

这篇论文也是谷歌大脑团队发表的，几乎是原班人马。从文章题目可以看出，实际上就是把自动数据增强拓展到了目标检测任务中。作者发现，图片分类作为简单的cv任务，数据增强方法跟目标检测任务的数据增强不一样，最优的数据增强策略也不同，因此作者想探究能否实现自动数据增强。

mmdetection里的auto augmentation实现的也是这篇论文。

实现细节：

具体思路跟上一篇差不多，将各种数据增强的方法（注意因为是目标检测，所以不单单用了简单的图片旋转等，还用到了一些针对bbox的操作变换）带上参数（概率，幅值）作为离散值进行组合成为子策略，用强化学习和辅助RNN控制器进行搜索。

值得一提的结论：

该论文发现，对于目标检测任务，用自动数据增强的方法搜索最优的数据增强策略序列，在小数量的数据集上的表现比大数量的数据集上表现好，对小目标的检测精度提升比大目标的提升大，mAP0.75的提升比mAP0.5的提升大（这点可以理解成bbox更加贴近实际的gt了）。

此外，作者还发现，其他成功的正则化技术，如果与学习到的数据增强策略一起应用，是没有好处的。他们用输入错误，Manifold Mixup和滴管进行了几个实验。对于所有的方法，我们发现它们既没有帮助也没有伤害模型性能。这是一个有趣的结果，因为所提出的方法独立地优于这些正则化方法，但是很显然，当应用一个学习到的数据增强策略时，这些正则化方法是不需要的。