[人工智能]基于无监督多阶段特征 7defd

基于无监督多阶段特征学习的行人检测

基本介绍

该模型采用了一些新的方法，如多阶段特征、跳过层的连接来集成全局形状信息和局部特征motif信息，以及基于卷积稀疏编码的无监督方法来对每个阶段的滤波器进行预训练。

关键方法：

1. 多阶段特征
2. 跳过层
3. 基于卷积稀疏编码的无监督方法

基本介绍

多阶段识别器学习层次结构的特征，调整到手头的任务，可以训练端到端，几乎没有先验知识。

以往设计的学习器可以手动设定相应的模型训练低级层次

无监督学习特征相关技术：

1. 堆叠受限玻尔兹曼机
2. 堆叠自编码器
3. 堆叠稀疏自编码器

并在每一层使用非线性变化 softmax 函数

该系统使用无监督卷积稀疏自动编码器对来自相对较小的INRIA数据集的所有级别的特征进行预训练，并使用端到端监督训练来训练分类器，并以集成的方式对特征进行调优。

学习功能层次结构

行人检测的很多工作都集中在设计具有代表性和强大功能的功能上,一般的特征学习算法可以产生成功的特征提取器，可以达到最先进的结果。

无监督学习算法已被证明可以为一般对象识别问题产生良好的特征。无监督学习方法可以自动学习被识别对象的特征，代替以往的HOG和DPM算法的功能。

层次模型

层次特征提取系统由多个层次的特征提取器组成，这些特征提取器在连续的层次中执行相同的滤波和非线性变换功能。将输入映射为逐渐更高层次(或抽象)的表示。可以使用bert代替。

**卷积稀疏编码算法。**无监督模型的每一层都包含一个卷积稀疏编码算法和一个可用于快速推理的预测函数。在最后一层之后，使用分类器将特征表示映射到类标签。稀疏编码字典和预测函数都不包含任何硬编码参数，并从输入数据进行训练。不包含任何先验知识。

每一层都分别使用前一层的表示以无监督的方式进行训练。在以分层的方式训练整个多级系统之后，使用标记数据对完整的体系结构和分类器进行微调。

无监督训练

将参数映射到一个过完备的字典D,D属于$R_{mn}m>n$这样做的目的是提取有效的特征表示。

这个公式目的取到一个输入到字典D的中最近的一个对象，其中$\lambda 是参数可以进行训练，s(z)表示惩罚函数$

输入到字典的映射不是全映射，只能取到离字典对象最近的那个映射。

$s(z)$表示惩罚函数，惩罚函数的具体选择根据所用的稀疏编码算法来决定，本文采用一范数$|||{|}_1$来作为惩罚函数

在这个问题当中待求表示矩阵$z^{?}$以及字典$D$，这是一个双求解的问题，表达公式如下

以往的算法是将输入图片分割成为多个patch,假设每个path相互独立，将patch作为输入求解对应的问题，就避免不了冗余的问题，该论文采用卷积预测稀疏分解,避免字典D的冗余，这个算法可以尝试使用Bert算法获得比较好的映射表示

预测函数是单层的ConvNet，预测函数形式如下:

f ( x ; g , k , b ) = z ^ = { z j } ^ j = 1 , 2 , 3... , n z ^ j = g j ? t a n h ( x ? k j + b j ) f(x;g,k,b)=\hat{z}=\hat{\{z_j\}}_{j=1,2,3...,n}\\ \hat{z}_j=g_j*tanh(x*k_j+b_j) f(x;g,k,b)=z^={zj?}^?j=1,2,3...,n?z^j?=gj??tanh(x?kj?+bj?)

f(x)是预测函数，预测函数的输出是一组特征映射，每一个特征都是

$D^{?}$表示一个完备字典集，着将最佳矩阵求解算法，变成二参数最佳求解算法。

二参数最佳求解算法没有办法直接求解，但保持一个不变另一个就可以变成可求解的问题。

特征学习和对象识别引入了卷积稀疏建模公式，我们使用中提出的卷积预测稀疏分解(convolutional Predictive sparse Decomposition, CPSD)模型，因为它是唯一一个提供快速预测函数的卷积稀疏编码模型，适合构建多阶段特征表示。

该模型使用的卷积核函数ConvNet