[人工智能]深度学习-卷积神经网络

• 看b站up主霹雳吧啦Wz视频，所做笔记
• 视频链接 ：1.1 卷积神经网络基础
• 卷积神经网络历史
  • CNN发展

    

    • 1986年：Rumelhart和Hinton等人提出了反向传播（Back Propagation, BP）
    • 1998年 ：LeCun等利用BP算法训练LeNet5网络，标志着CNN的真正面试（硬件跟不上）
    • 2006年：Hinton在他们的Science Paper中首次提出了Deep Learning的概念
    • 2012年:Hinton的学生Alex Krizhevsky在寝室用GPU死磕了一个Deep Learning模型，一举摘下了视觉领域竞赛ILSVRC 2012的桂冠，效果大幅度超过传统的方法，传统的70%多提升到80%多
  • 有GPU资源尽量使用GPU，因为测试中GPU和CPU的速度相差很大，GPU提升效率在20倍以上
• 全连接层
  • -1是偏置

    

  • BP（back propagation）算法包括信号的前向传播和误差的反向传播两个过程，即计算误差输出时按从输入到输出的方向进行，而调整权值和阈值则从输出到输入的方向进行

    

    • 3层BP神经网络可以实现多维单位立方体R^m到R^n的映射，即能够逼近任何有理函数。
• 卷积层
  • CNN中独特的网络结构，其实是一个滑动窗口在特征图上进行滑动并计算
    • 计算过程：卷积核的值和特征图上的值进行相乘然后相加得到一个值，每滑动一个窗口计算得到一个值，最后得到一个卷积特征图
  • 卷积的目的：进行图像特征提取
  • 卷积特性
    • 拥有局部感知机制
    • 权值共享：降低参数
  • 多维卷积操作
    • 卷积核维度要和输入特征矩阵维度保持一致
      • 卷积后进行求和操作得到一个卷积层，不同卷积核进行卷积得到不同输出特征矩阵，然后将不同卷积核得到的输出特征矩阵进行拼接，得到整个输出的特征矩阵

        

        
        如卷积核1的每个层与对应层卷积，得到的值相加，即可得到特征矩阵1
  • 总结
    • 卷积核的channel与输入特征层的channel相同
    • 输出的特征矩阵channel与卷积核个数相同
  • 思考
    • 加上偏移量biass该如何计算
      • 最后将卷积核偏置加在输出特征矩阵上
      • 特征矩阵上每个值都加偏移量
    • 加上激活函数后该如何计算
      • 加入激活函数后，可以引入非线性因素，具备解决非线性问题的能力
    • 如果卷积过程中出现越界的情况怎么办
      • 使用padding方式在周围补上0

        

• 池化层
  • 目的：对特征图进行稀疏处理，减少数据运算量
  • 池化方法
    • 平均下采样层（AveragePooling）：相加取平均值
    • 最大值下采样层（MaxPooling）：取最大值
  • 池化层特点：
    • 没有训练参数
    • 只改变特征矩阵的w和h,不改变深度（channel）
    • 一般池化核（poolsize）和步长（stride）相同