|
**
DenseNet阅读心得体会
**
\qquad
深度学习是机器学习的一个分支，它是伴随着计算机硬件技术的发展而兴起的。关于深度学习的起源可以追溯到1943年，心里学家麦卡洛克和数学逻辑学家皮兹发表论文《神经活动中内在思想的逻辑演算》，该论文提出了MP模型。MP模型是模仿神经元的结构和工作原理，构成出的一个基于神经网络的数学模型，本质上是一种“模拟人类大脑”的神经元模型。MP模型作为人工神经网络的起源，开创了人工神经网络的新时代，也奠定了神经网络模型的基础。虽然深度学习起源较早，但是其优秀的性能却受限于计算机硬件的发展，没有强大的硬件深度模型的训练几乎是不可能的。直到2010年左右，GPU的并行运算能力在矩阵运算方面显示出了不凡的优势，这才使得深度的神经网络训练变得流行起来。
本次阅读的论文主要是探索出一种深度模型的实现方式，DenseNet的独特优势就是其引入了密集连接。DenseNet应该是受启发与ResNet，ResNet在网络中引入了identity连接，我认为这种连接方式后面的原理是因为当网络深度达到一定程度时，其性能会出现下降，引入identity层以后，浅层的数据可以直接流到深层，这就给网络增加了退化功能，能够保证网络至少不比浅层的时候性能差。DenseNet也使用了类似的方式，只不过DenseNet的连接操作是所有浅层的输出都会被连接到本层，并且将ResNet短接操作中的加操作修改为了堆叠操作，这为DenseNet保留RenNet优势的情况下提供了一些新的功能。
\qquad
特性重用，每一层都能传到后续层，这样保证可以抽取足够抽象的特征的同时也能使用浅层提取的特征，加大了特征的利用率，我认为这种特征重用能够提升效果与这样一个事实有关，当网络抽取复杂特征的同时浅层抽取的简单特征所起的作用会慢慢减少，特征重用可以重新利用这些特征进行各类任务，不过上面这个是一个比较直觉的想法，理论上面还没由进行证实。但这样的直觉式的推理我认为也可以应用于脉冲神经网络的训练上，脉冲神经网络在前传过程中当膜电位达到阈值以后就会发放一个脉冲，同时导致膜电位的重置，这个过程就会丢失一部分膜电位信息，利用密集连接的方式去构建脉冲神经网络也许是解决上述问题的一种方式。
\qquad
连接操作是在通道维度上进行堆积，这也是和ResNet的一个巨大区别，ResNet是对特征进行加的操作，这在一定程度上会改变浅层的输入特征，而DenseNet的堆积操作可以说是保持了原汁原味的浅层特征。这也改进了网络的梯度信息流动，使得网络更加容易训练，因为每一层都可以直接访问损失函数和原始输入信号的梯度，从而产生一个隐式的深度监督。作者通过实验还发现密集连接具有正则化效应，减小了模型过拟合的概率，通常正则化分为参数正则化和模型正则化，正则化是一种以简化模型防止模型过拟合的方式，由于采用密集连接，在训练过程中模型具有足够的空间进行简化，至于简化的方式不容易进行推导，但也存在一种简单的想法，那就是模型在训练的时候足够灵活，它可以选择某个神经元的参数置零，从而简化模型。这个也是一种比较直觉解释，通常对深度学习模型的解释是很复杂的，在深度学习领域模型的可解释性也是一个巨大的挑战，也许经过无数学者以及科研工作者不断地推理和发展，某一天深度学习的黑盒将被打开，那时候我们也许可以通过理论推理求解最优解，构建出满足各种不同任务的终极模型。
\qquad
无论是多复杂的深度学习模型，其本质也是神经网络，最核心的思想还是构建一个复杂的模型去拟合数据，从而完成各种不同的任务。这个过程有几个点未发生变化，即原始数据，模型类别与目标。通过对数据研究，出现了一系列的数据增广的方法。在对模型的研究后又出现了宽的模型，深的模型，正则化，Dropout等一系列方法。从目标方向看，出现了无监督学习，强化学习等新的机器学习方法。就本文而言，任务通过构建深度学习模型完成目标识别，作者借助ResNet的部分思想，通过更加密集的连接构建起了既复杂又简单的模型，与ResNet相比，该方法看到了其在连接处理上的稀疏性，由此进行突破进一步创新。通过对这篇论文的阅读，我进一步打开了思考的方式。DenseNet与ResNet都是通过改变层与层之间的连接方式提升效果，连接方式之间最大的区别是其密集程度，那么会不会存在一个折中的连接方式，从而使模型的效果高于上面的两种模型呢，这也是一种顺理成章的想法。在一个就是这些模型都会使用卷积的方式去提取图片的特征，卷积使处理图片数据方面比较好的方式，但对于其他一维的流式的数据是否存在将这种数据的处理方式与上述连接方式结合的方法，利用各个部件的优势去处理不同的任务。
\qquad
通过本篇论文的阅读以及思考，我认为变与不变应该是变中有不变，不变中也存在着变，两者相互交织，相互转化。实验中的控制变量法会控制一些变量去研究另一些变量的作用，从而对实验改进，科研工作中也可以同样的方式，对于任何模型也好，过程也好，只要能够单独分析出某些因素的作用，那么出现Creativity point也会变得容易许多，探索的过程就是摸着石头过河，在没有最好的路径之前最好多摸摸石头。
|