开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> 【ICML2015迁移学习论文阅读】Unsupervised Domain Adaptation by Backpropagation 无监督域适应DANN -> 正文阅读

[人工智能]【ICML2015迁移学习论文阅读】Unsupervised Domain Adaptation by Backpropagation 无监督域适应DANN

会议：ICML 2015
论文题目：Unsupervised Domain Adaptation by Backpropagation
论文地址：http://proceedings.mlr.press/v37/ganin15.pdf
论文代码：https://github.com/fungtion/DANN

在这里插入图片描述

Unsupervised domain Adaptation by Backpropagation 这篇论文发表于2015 ICML，目前引用量已经3000+，这篇文章讲得非常好，把对抗训练的思想应用到分布迁移上面。具体来说在原来feature mapping的基础上外接一个domain classifier（之前那个叫做label classifier），这个domain classifier的作用是判别当前样本是属于哪个domain的，如果你的数据集只有两个分布，那么这个classifier就是一个二分类任务。如果你正常进行梯度更新的话，feature mapping这个向量在不同的domain上就会dissimilar，但是如果你加了梯度反向层（让encoder这个部分关于domain的loss传回来的梯度是反向更新的），那么这个features mapping在不同的domain（数据集）上就可以表现出特征不变性（也就是体现出特征解耦）

DANN模型架构

在这里插入图片描述
本文核心思想：训练上面的模型，让domain classifier无法分辨出你输入的x属于哪个domain。这时，我们的目的就达到了，因为我们在分不清这个x是哪个domain的情况下，模型还是能用label predictor分类器做出x的label的预测。说明我们换个domain的数据，label预测任务的性能仍然较好。