别问为什么没有002，002写的太差了，等我有时间优化一下再发
论文简介：Hinton, Geoffrey E., and Ruslan R. Salakhutdinov. "Reducing the dimensionality of data with neural networks." Science 313.5786 (2006): 504-507.（里程碑，展示深度学习的前景）
https://github.com/floodsung/Deep-Learning-Papers-Reading-Roadmap?
一、 内容和结论
通过训练一个具有小中心层的多层神经网络来重构高维输入向量，可以将高维数据转换为低维编码。在这种“自动编码器”网络中，梯度下降可以用来微调权值，但只有当初始权值接近一个好的解时，这种方法才能很好地工作。文中得出了一种初始化权值的有效方法，它允许将深度自动编码器网络学习低维编码，它作为一种降低数据维数的工具要比主成分分析的好得多。
降维的好处：有利于高维数据的分类、可视化、通信和存储。
主成分分成（PCA）：降维的简单常用方法，找出数据集中方差最大的方向，并用每个方向上的坐标表示每个数据点。
Autoencoder（见图1）：使用自适应多层编码器网络将高维数据转换为低维代码，并使用类似的解码器网络从代码中恢复数据。这样可以提供数据和代码之间的双向映射，以便用于大型数据集。
预训练有助于泛化，因为它确保了权值中的大部分信息来自图像建模。
如果计算机计算速度足够迅速，数据集足够大，初始权重足够理想，使用BP算法的深度自编码器对于非线性降维是一种非常有效的方式。
二、 方法、模型或数据
1、模型和方法：
先预训练一堆RBM，每个RBM只有一层特征检测器，迭代地训练，将训练一个RBM学到的特征用于训练下一个RBM。预训练后，这堆RBM被组合到一起，形成一个Autoencoder，然后使用反向传播对权重进行微调。
2、能量函数（概率函数？这个能量的定义不是很懂）：
?其中v(i)和h(j)是像素i和特征j的二进制表示、b(i)、b(j)是偏差，w(i,j)是他们之间的权重。
3、权重和偏置的更新：
给定一个训练图像，h(j)设为1的概率为(σ（x）为逻辑斯蒂函数)
?h(j)确定后，v(i)设为1的概率为
然后隐藏单元的状态被更新，权重的变化为
其中，ε是学习率，<v(i)h(j)>(data)是像素i和特征j同为1的次数的得分，<v(i)h(j)(recon)为对应生成图片中为1的得分。
偏置更新也用同样的简化的学习规则。
4、不同数据集的训练结果：由下可见Autoencoder非常有效
1) 结构：(28 x 28)-400-200-100-50-25-6的编码器和与之对称的解码器
样本：20000张训练图片，10000张测试图片
从上到下的五行分别为：随机原始样本、Autoencoder、6个组成部分的logistic PCA、18个组成部分的logistic PCA和普通PCA
平均误差分别为：1.44、7.64、2.45、5.90，
2) 结构：784-1000-500-250-30
样本：MNIST中的所有手写数字字体，训练60000张，测试10000张
从上到下四行分别为：随机原始数据、Autoencoder、30个组成部分的logistic PCA和普通PCA
平均误差分别为：3.00、8.01、13.87
3) 结构：625-2000-1000-500-30
样本：Olivetti face data set
三行分别为：随机测试数据、Autoencoder、30维的PCA
平均误差：126、135
4) 针对MNIST手写体数字的分类的最佳错误率：随机初始化反向传播是1.6%，SVM是1.4%，在784-500-500-2000-10网络中，经过逐层预训练后，使用最陡下降和很小的学习率的反向传播达到了1.2%。
5) 在文档检索上，Autoencoder也优于基于PCA的LSA算法和当时的local linear embedding
三、 启发与思考
文中的这个方法有点像seq2seq，只不过这里不是文本，而是图像二进制；还有点像CNN的逐步提取特征。上次大组会之后就不在纠结于新论文还是旧论文了，专注于学习作者的写作技巧，框架和思路。另外RBM和函数也没有太过深究。