| MNIST | | MNIST数据集可能是最常用的一个图像识别数据集。它包含 60,000 个手写数字的训练样本和 10,000 个测试样本。每一张图像的尺寸为 28×28像素。 |
| ImageNet | | ImageNet是一个超过15 million的图像数据集，大约有22,000类。 |
ILSVRC：ImageNet Large Scale Visual Recognition Challenge | ImageNet 大型视觉识别挑战赛 | |
| ICML：International Conference for Machine Learning | 国际机器学习大会 | |
| Alexnet | 这种架构曾在 2012 年 ILSVRC 挑战赛中以巨大优势获胜，而且它还导致了人们对用于图像识别的卷积神经网络（CNN）的兴趣的复苏 | |
| VGG | VGG 是在 2014 年 ImageNet 定位和分类比赛中分别斩获第一和第二位置的卷积神经网络模型。 | |
| GoogleLeNet | GoogleLeNet 是曾赢得了 2014 年 ILSVRC 挑战赛的一种卷积神经网络架构 | |
| ResNet | 深度残差网络（Deep Residual Network）赢得了 2015 年的 ILSVRC 挑战赛。 | |
| DenseNet | 比ResNet更优的CNN模型 | |
| SENet | 最后一届ImageNet 2017竞赛分类任务的冠军 | |
| neural networks | 神经网络 | |
| neuron | 神经元 | |
| supervised learning | 监督学习 | |
| unsupervised learning | 无监督学习 | |
| feedforward neural network | 前馈神经网络 | |
| Backpropagation | 反向传播 | |
| NTM：Neural Turing Machine | 神经图灵机 | NTM 是可以从案例中推导简单算法的神经网络架构。比如，NTM 可以通过案例的输入和输出学习排序算法。 |
| data augmentation | 数据增强 | 翻转（Flip）、旋转（Rotation）、缩放比例（Scale）、裁剪（Crop）、移位（Translation）、高斯噪声（Gaussian Noise）等等方法 |
| Recursive Neural Network | 递归神经网络 | 递归神经网络是循环神经网络的树状结构的一种泛化（generalization） |
| CNN/ConvNet：Convolutional Neural Network | 卷积神经网络 | |
| RNN：Recurrent Neural Network | 循环神经网络 | |
| Bidirectional RNN | 双向循环神经网络 | 双向循环神经网络是一类包含两个方向不同的 RNN 的神经网络 |
| DBN：Deep Belief Network | 深度信念网络 | |
| RBN：Restricted Boltzmann Machine | 受限玻尔兹曼机 | RBN 是一种可被解释为一个随机人工神经网络的概率图形模型。RBN 以无监督的形式学习数据的表征。 |
| MLP：Multilayer Perceptron | 多层感知器 | |
| Momentum | 动量 | 动量是梯度下降算法（Gradient Descent Algorithm）的扩展，可以加速和阻抑参数更新。 |
| Nonlinearity | 非线性 | |
| Max-Pooling | 最大池化 | |
| Average-Pooling | 平均池化 | |
| Sigmoid | Sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间。 | |
| ReLU | 线性修正单元（Rectified Linear Unit） | |
| Dropout | Dropout 是一种用于神经网络防止过拟合的正则化技术 | |
| BN：Batch Normalization | 分批标准化 | 分批标准化是一种按小批量的方式标准化层输入的技术 |
| Attention Mechanism | 注意机制 | 注意机制是由人类视觉注意所启发的，是一种关注图像中特定部分的能力。 |
| RMSProp | RMSProp 是一种基于梯度的优化算法 | |
| Adam | Adam 是一种类似于 rmsprop 的自适应学习率算法 | |
| Adagrad | Adagrad 是一种自适应学习率算法，能够随时间跟踪平方梯度并自动适应每个参数的学习率。 | |
| Adadelta | Adadelta 是一个基于梯度下降的学习算法，可以随时间调整适应每个参数的学习率。 | |
| gradient descent | 梯度下降 | |
| SGD：Stochastic Gradient Descent | 随机梯度下降 | |
| conjugate gradient | 共轭梯度 | |
| least squares | 最小二乘法 | |
| Softmax | | Softmax 函数通常被用于将原始分数（raw score）的矢量转换成用于分类的神经网络的输出层上的类概率（class probability）。 |
| Vanishing Gradient Problem | 梯度消失问题 | 解决这一问题的常用方法是使用 ReLU 这样的不受小梯度影响的激活函数，或使用明确针对消失梯度问题的架构，如LSTM。 |
| word2vec | | word2vec 是一种试图通过预测文档中话语的上下文来学习词向量（word embedding）的算法和工具 |
| NMT：Neural Machine Translation | 神经网络机器翻译 | |
| LSTM：Long Short-Term Memory | 长短期记忆 | 网络通过使用内存门控机制防止循环神经网络（RNN）中的梯度消失问题 |
| orthogonalization | 正交化 | |
| Activation Function | 激活函数 | 最常用的函数包括 sigmoid、tanh、ReLU |
| additive noise | 加性噪声 | |
| autoencoder | 自编码器 | |
| derivative | 导函数 | |
| eigenvalue | 特征值 | |
| eigenvector | 特征向量 | |
| feature matrix | 特征矩阵 | |
| feature standardization | 特征标准化 | |
| error term | 残差 | |
| fine-tuned | 微调 | |
| local optima | 局部最优解 | |
| logistic regression | 逻辑回归 | |
| loss function | 损失函数 | |
| non-convex function | 非凸函数 | |
| non-linear feature | 非线性特征 | |
| norm | 范式 | |
| normalization | 归一化 | |
| object detection | 物体检测 | |
| objective function | 目标函数 | |
| under-fitting | 欠拟合 | |
| over-fitting | 过拟合 | |
| pretrain | 预训练 | |
| redundant | 冗余 | |
| regularization | 正则化 | |
| regularization term | 正则化项 | |
| rescaling | 缩放 | |
| robust | 鲁棒性 | |
| singular value | 奇异值 | |
| mean and variance | 均值和方差 | |
| squared-error | 方差 | |
| the rate of convergence | 收敛速度 | |
| translation invariant | 平移不变性 | |
| weight decay | 权重衰减 | |
| whitening | 白化 | |
| sparsity parameter | 稀疏性参数 | |
| RPN， region proposal network | 区域生成网络 | |