这是我根据北京邮电大学一位博士的讲解视频所归纳的笔记
视频地址：https://www.bilibili.com/video/BV1ct41167kV?spm_id_from=333.337.search-card.all.click
正文
我们为什么需要迁移学习？
?众所周知，AlphaGo是通过强化学习去训练，适合下围棋，围棋比赛的棋盘是19*19，那如果让它在5*5的棋盘上下棋，甚至让它下象棋，它还会表现的很好吗？
?而人类与生俱来就有举一反三的能力，比如你会骑自行车后就会骑电动车，会羽毛球就很快学会网球等等。人可以很好的把自己学到的知识迁移到相关的领域，这就是迁移学习。
现如今，深度学习都是通过大量有标签的数据进行训练，如果我们能把训练结果用在其他相关领域上，是不是就可以很好的解决数据少甚至没有数据时的问题。
?在普通的深度学习中，我们用数据通过不同的损失函数对它进行训练，拿到一部分测试样本再过一遍这个网络就能很好的预测出来。
?在迁移学习中有两个域，一个是源域对应训练样本，一个是目标域对应测试样本。源域和目标域的数据和任务可能都不一样，就比如源域是美颜照片，而目标域是素颜照片，源域的任务是分类，而目标域的任务是回归。在这种场景下传统的深度学习就不够用了，这时候就需要迁移学习。
域适应
源域有大量有标记的样本，但目标域只有少量有标记的样本或者无标记的样本，在任务相同但数据不同的场景下，如何迁移能使得目标域也能有很好的性能呢?
首先看一下什么叫不同的数据分布
?比如第一排在不同场景下的自行车和电脑，人可以很好的识别，但计算机不一定可以做到。
第二排的数字一个是手写数字一个是门牌号
第三排人脸有成年人有婴儿还有素描
?举个例子，假如我们要从门牌号迁移到手写数字集上，我们在门牌号这个源域上训练模型，提取特征用到目标域手写数字集上，图中，蓝色的点是源域，红色的点是目标域，左图源域和目标域的分类边界不好区分，说明源域训练的样本不能在目标域上取得很好的性能，迁移学习想达到右图的效果，源域和目标域都对齐了，这样源域的分类器也能很好的在目标域上使用。
特征适应
?把源域和目标域提取到共同的空间里，在这个空间里，源域和目标域足够的近，足够对齐，这样目标域的性能就会提升。
实例适应
源域总有样本和目标域相似，把这些样本拿出来，越像的给它的权重w就越大，这样训练模型就会在目标域上有很好的效果
模型适应
通过参数的迁移使得效果提升
在深度学习下大部分迁移学习都是特征适应
?在深度学习下一般分为三个方法：差异，对抗，重构
?这是一个微调的实验，实验表明，在浅层提取的特征一般是通用的，而在深层的特征比较特殊一般更偏向于源域。
?无监督下的域自适应
用数学公式找到衡量源域和目标域之间的度量，找到度量后把度量数字化，把数字作为一个loss，然后让深度网络优化这个loss，让这个距离逐渐变小，然后得到的特征就是源域和目标域足够的近，源域训练出来的模型在目标域上有很好的效果。
?此方法的解析见以下论文：DANN：Unsupervised Domain Adaptation by Backpropagation_gdtop818的博客-CSDN博客