本笔记来自于鲁鹏老师的视频
https://www.bilibili.com/video/BV1V54y1B7K3？p=3&vd_source=4ddee6259222ad3b06bedffc7277f3fe
背景知识：
行业先驱： David Marr (1945-1980) 大卫马尔(David Marr) 是计算机视觉的先驱，被称为计算机视觉之父。
马尔奖（Marr Prize）是由计算机视觉国际会议（ICCV, International conference on computer vision）的委员会颁发的计算机视觉领域的重要奖 项，是计算机视觉研究方面最高的荣誉之一。
注：ICCV是计算机视觉领域世界顶级的学术会议之一，每两年举办一届。其评选出的最佳论文（马尔奖） 被看作是计算机视觉研究方面的最高荣誉之一。
一.图像分割
1.图像分割遇到的难点
语义鸿沟：人看到的和计算机看到的不一样
除此之外还存在：视角不同，阴影，遮挡，尺度不同，形变，背景杂波，运动模糊的问题。
2.如何做？
2.1流程
2.2评价指标
2.3线性分类器的使用
2.3.1图像表示
2.3.2线性分类器的定义
线性分类器是一种线性映射，将输入的图像特征映射为类别分数。
2.3.3线性分类器的权值到底是什么？（多类支撑向量机）
2.3.4损失函数
损失函数搭建了模型性能与模型参数之间的桥梁，指导
模型参数优化。
- 损失函数是一个函数，用于度量给定分类器的预测值与真实值的不一致程度，其输出通常是一个非负实值。
- 其输出的非负实值可以作为反馈信号来对分类器参数进行调整，以降低当前示例对应的损失值，提升分类器的分类效果
2.3.5损失函数的正则化（超参数）
2.3.6参数优化（梯度下降算法）
参数优化是机器学习的核心步骤之一，它利用损失函数的输出值作为反馈信号来调整分类器参数，以提升分类器对训练样本的预测性能
2.3.7数据集的划分
2.3.8数据集的预处理
二.全连接神经网络
全连接神经网络级联多个变换来实现输入到输出的映射
1.1图像表示
1.2分类模型
1.2.1线性可分
1.2.2线性不可分
1.2.3两层（N层）全连接神经网络命名
1.2.4激活函数
激活函数有以下分类：
1.2.5网络结构的设计
- 用不用隐层，用一个还是用几个隐层？（深度设计）
- 每隐层设置多少个神经元比较合适？（宽度设计）
没有统一的答案！
依据分类任务的难易程度来调整神经网络模型的复杂程度。分类任务越难，我们设计的神经网络结构就应该越深、越宽。但是，需要注意的是对训练集分类精度最高的全连接神经网络模型，在真实场景下识别性能未必是最好的（过拟合）。
1.3小结
- 全连接神经网络组成：一个输入层、一个输出层及多个隐层；
- 输入层与输出层的神经元个数由任务决定，而隐层数量以及每个隐层的神经元个数需要人为指定；
- 激活函数是全连接神经网络中的一个重要部分，缺少了激活函数，全连接神经网络将退化为线性分类器。
1.4 损失函数SOFTMAX
1.4.1指数化 归一化
1.4.2交叉熵损失
交叉熵损失更能度量得分的好坏
1.5计算图与反向传播
计算图是一种有向图，它用来表达输入、输出以及中间变量之间的计算关系，图中的每个节点对应着一种数学运算。
1.任意复杂的函数，都可以用计算图的形式表示
2.在整个计算图中，每个门单元都会得到一些输入，然后，进行下面两个计算：
a) 这个门的输出值
b) 其输出值关于输入值的局部梯度。
3.利用链式法则，门单元应该将回传的梯度乘以它对其的输入的局部梯度，从而得到整个网络的输出对该门单元的每个输入值的梯度
1.5.1颗粒度
这几个环节可以合并成一个函数，小颗粒编程大颗粒
1.6再谈激活函数 梯度消失和爆炸问题
梯度消失是神经网络训练中非常致命的一个问题，其本质是由于链式法则
的乘法特性导致的。
