GAN(Generative Adversarial Nets)生成对抗网络
摘要
作者通过一个叫对抗的过程同时训练两个模型
第一个模型叫生成模型G:用于抓取整个数据的分布?(应该是可以生成各种数据分布,例如生成图片 文本 电影等)
第二个模型叫辨别模型D:用于估计你的样本是训练域的还是生成域的。(类似于猫狗识别,分辨你是哪个动物(2分类)。这里是分辨你是哪个域的(2分类))
两个模型的任务不同,生成模型G是尽量想让辨别模型D犯错。模型D则是尽量辨别出图片(或其他数据)是训练域的还是生成域的。
举例:一个罪犯造假币,一个警察分辨假币。双方在互相博弈的过程中,罪犯会提高自己造假币的水平,警察会提高自己分辨假币的水平。到最后如果罪犯能够造出让警察都分辨不出来的假币,那罪犯就相当于造真币了。
用在神经网络上,我们就可以通过生成模型来生成和真实数据一样的数据了。
导论
作者说深度学习是用来去发现一些丰富的,有层次的模型。这些模型是能够对AI里面的各种应用的各种数据,能够做一个概率分布的表示。
即深度学习不仅仅是深度神经网络,更多的是对整个数据分布的一个特征的表示(不知道啥意思。。。。。没看懂)
作者说,现在深度学习中,辨别模型已经很好了(即图像识别之类的),但是生成模型还是比较差。难点来自于最大化似然函数的时候,对于概率分布需要很多的近似,这个近似带来了很大的计算困难。作者想不搞似然函数了,用别的方法来得到一个计算上更好的模型。
在这个框架下,生成模型是一个MLP(multilayer perceptron),它的输入是一个随机的噪音。MLP能够把产生随机噪音的一个分布(通常是高斯分布)可以映射到任何一个我们想要去拟合的分布上。判别模型也是MLP,因此在训练的时候可以直接通过误差的反响传递,从而不需要使用马尔科夫链算法来对一个分布进行复杂的采样(看不懂这里。。。。。。。。。。)
考完研以后看懂了具体计算再更新了。。。。。。。呜呜呜
|