二分类法
logistic回归是一个用于二分分类的算法,是一个二元分类问题,用于输出y等于0还是1的概率是多大  由两个参数w,b组成一个线性方程,我们需要学习这个w和b,但是y hot 可能大于1,所以我们要引入sigmoid函数将它变换为0-1之间,具体计算带入过程如图所示  这里是表示loss函数,损失函数由自己定义,是对于单个样本而言的,而下面的成本函数是针对整个训练集的,在损失函数当中我们会把w和b带入进去计算  梯度下降法就是让成本函数取得局部最优值,使用的是梯度下降法,这里是对w和b进行求导,不断迭代,,更新w和b,更新的公式如上图所示  注意这里的w是一个矩阵,而不是一个数,所以展开后的式子如上图所示 向量化SVM一般是用来消除代码中的for循环,因为for循环会比较浪费资源  非向量化就是左边的for形式,SVM就是右边的代码形式,一步到位,向量化也就是将其表示为矩阵的形式,然后调用函数进行计算  这个图总结了上述所有的知识点,构建出了一个神经网络 激活函数可以是的e函数,这个激活函数用在二分类中 但现在基本上都用正切函数来坐激活函数,或者relu函数 反向传播相当于求导数 我们再选择w和b的时候可以随机的生成然后*0.01,b可以设置为0 有些参数决定了w和b的取值,这种就叫做超参数
尽量要确保训练集和测试集处于同一分布  第一行为训练集的误差,第二行为验证集的误差,第一列当二者相差较大时,称之为过拟合,因为只有训练集一开始参加训练,验证集是在训练好的网络上进行的 如果过度拟合了,可以采用正则化  正则化就是在损失函数中加一项,这一项是一个范数,还可以减少方差,然后继续带入到代价函数中去,上述正则化方法叫做L2正则化
加速训练的一个方法是归一化输入:假如输入的两个特征取值不同,一个是0-1,另一个是0-10000,则此时需要归一化
使用softmax回归可以做多个分类器,而不仅仅只能是识别二分类
tensorflow,pytorch是一个深度学习框架
 端到端的学习就是输入,然后直接输出,省去了很多中间过程  这里是黑白图像的垂直边沿检测,如果数组大一些将会更好的检测到
padding就是在原图像矩阵中填充0 一个nn的图像经过一个ff的卷积核会输出一个n-f+1大小的矩阵,f通常是奇数的
如果加入步长s,p表示padding,则此时的输出层数为(n+29-f)/s+1 
图像的通道数必须和卷积核的通道数匹配 输出图像的维度和有几个卷积核一样,一个卷积核相当于检测一个特征  这里阐述了一个663的输入经过一个333的两个卷积核,然后出来了一个442的,对它加上偏差b,再对其整体取激活函数。使其成为神经网络中的一层
计算conv层的输入输出层数在池化层同样适用,池化层有两个超级参数,一个时步长,一个是过滤器大小
 第一列表示激活值的xyz大小的形状,第二列表示激活值的参数,第三列表示参数多少
LeNet-5神经网络  识别数字用的,最后输出一个5516的图像,总共400个参数,将其排列为一列,找出含有120个元素的全连接层,400个参数每一个都对应120,然后送入softmax网络进行分类
inception网络的作用就是替你决定是用多少层的卷积核,是否需要池化层  由网络自己决定,需要多少卷积层,多少多少池化层,最后使得输入输出维数不变
 上图总共要进行1.2亿次的计算,而如果使用下面的办法的话只需要进行1200万次计算,节省了十倍 
如果数据集较小,我们可以从网上把代码下下来,只改CNN网络中的某一层参数,然后其他层的参数我们可以照搬,如果数据集较大,那么就可以多改几层的参数
数据增强的技巧:将图像进行翻转、对图像进行随机裁剪,再放入数据集当中, 将色彩值进行转化,对RGB的值进行相加R+20 G-20 B+2
 定位就是让softmax多输出四个参数,框框的中心坐标,高和宽
 将全连接层转化为卷积的过程,最后的114是softmax分类出来的
 交并比,红色的框是我们所定义好的标签,我们预测出的是紫色框,我们要做的就是让训练出来的y^尽可能的接近我们的真实标签y 一般将iou的阈值设备为0.5
 做非极大值抑制的时候,对于多个物体类别,我们做多次非极大值抑制
|