IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 神经网络与深度学习笔记(五)偏差与方差 -> 正文阅读

[人工智能]神经网络与深度学习笔记(五)偏差与方差

前言

这篇文章的内容主要是偏差与方差的相关解释

什么是高偏差,高方差

在训练神经网络时,我们需要使用偏差与方差评估模型的准确度。

但是,到底什么是高偏差?什么是高方差?

拟合靶心版

我们举个靶心的例子。

如果数据点集中于非靶心的地方,就是欠拟合。在这种情况下,模型属于高偏差

如果数据点集中于靶心。拟合程度就刚刚好。

如果数据集集中于靶心,但是扩散范围广,零零散散。在这种情况下,模型属于高方差。

下面的例子是在二元分类时,高偏差与高方差的情况:

数据集与拟合

可以看到,上图最左边的图,粗暴将数据划了一条线作为边界。但是仍然有很多数据分类错误,这是欠拟合的情况

中间一幅图,拟合程度刚刚好。

最右的一幅图,拟合程度太高,出现了过拟合。

这种直观的图很容易分辨出拟合好坏的情况。

但是很多情况下,我们并不能可视化数据。在这种情况下我们就要看训练集误差和开发集的误差

利用数据集误差判断拟合情况

在假定人眼分辨猫狗理想误差(贝叶斯误差)为 0% 的情况下:

train set error训练集误差dev set error开发集误差拟合情况
1%11%过拟合,高方差(训练集效果好,但是在开发集不尽人意)
15%16%欠拟合,高偏差(训练集效果不尽人意)
15%30%高偏差,高方差(训练集和开发集都不尽人意)
0.5%1%拟合程度较好(训练集与开发集的效果较好)

由上可以看出,我们首先判断是否是高偏差,高偏差主要看训练集误差的大小,如果训练集误差较大,那么这个模型的偏差较高,在这种情况下,训练数据得出的结果与实际值偏差较大,就不用再考虑方差情况。

在确定偏差不高的情况下,我们再判断是否是高方差。当训练集的数据较好,但是开发集误差与训练集误差相距离谱时,这种现象就是高方差。也就是过拟合。

当训练集误差和开发集误差均较小且相近时,模型的拟合程度就达到了较好。

处理方式

训练好最初的神经网络后,我们可以参照以下的流程去关注模型的性能

看模型在训练集上的表现

即看模型是否会出现高偏差

如果有高偏差,则:

  • 挑选更优的算法
  • 使用更大的神经网络,设计带有更多隐藏层或者更多隐藏单元的神经网络
  • 训练更长的时间,让梯度下降运行更长的时间
  • 换用一些更高级的优化算法
  • 选择更合适的神经网络

看模型在开发集上的表现

解决上面模型在训练集上的表现情况后,我们再看模型在开发及上的表现

在训练集上表现好,是否在开发集上是一样好呢?

如果有高方差,则:

  • 增加更多训练数据去训练模型
  • 使用正则化
  • 选用更合适的神经网络

后记

在过去的机器学习阶段,偏差和方差是需要权衡的。因为当你减小偏差时候,方差可能会增大;而减小方差时候,偏差可能会增大。很难找到既能减小偏差又能减小方差的方法。

然而在如今的深度学习时代,使用更多的数据集,更好更大的神经网络,适当的正则化可以在减小方差时候不增加偏差,或者在减少偏差的时候不增加方差。

后面即将更新正则化。

  人工智能 最新文章
Neo4j 实战篇(一)基于Py2Neo构建电影知识
消息传递神经网络(MPNN)内容及代码实践
OpenCV+百度云人脸识别项目及源码
实验5 卷积神经网络实验中
论文详解:Attention-based Extraction of
Tensorflow进阶
科技时代,如何保护个人隐私?
【元宇宙系列】游戏与元宇宙(下)——拉动
pytorch学习13:实现LetNet和学习nn.Module
LSTM的本质理解-正向传播
     下一篇文章      查看所有文章
加:2021-07-04 19:55:33  更:2021-07-04 19:55:35 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
360图书馆 购物 三丰科技 阅读网 日历 万年历 2022年5日历 -2022/5/24 4:51:53-
图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码