IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> DW李宏毅机器学习笔记—Task05(四)—略看分类问题 -> 正文阅读

[人工智能]DW李宏毅机器学习笔记—Task05(四)—略看分类问题


前言

这是我在Datawhale组队学习李宏毅机器学习的记录,既作为我学习过程中的一些记录,也供同好们一起交流研究,之后还会继续更新相关内容的博客。


分类是怎么做的

将分类转化为回归

在这里插入图片描述
回归就是输入一组数据,输出一个数。
分类的话就是输入一组数据,输出一个类别。
而将回归转化成分类的话是通过输出的数字来判别类别。
在这里插入图片描述
通过回归来分类,这要求神经网络输出是一个向量。这个向量中的每一个元素代表着对应类别的可能性。

Softmax登场

在这里插入图片描述
R e g r e s s i o n 与 C l a s s i f i c a t i o n Regression与Classification RegressionClassification在前半部分都是相同的,都是输入乘上权重加上偏移,再激活一下,然后连接起来,得到其中有各种值的向量 y y y

R e g r e s s i o n Regression Regression在最后有个 S o f t m a x Softmax Softmax函数,将之前输出的向量 y y y转换成一个元素值只有0或1的向量 y ′ y' y这样就可以转换成类别。

S o f t m a x Softmax Softmax函数又是怎么样的呢?
在这里插入图片描述
首先, s o f t m a x softmax softmax的输入不再叫 i n p u t input input,而是 l o g i t logit logit,然后经过上图的计算,转化成 y i ′ y'_i yi?

这里的都是多分类问题,而二分类问题怎么样呢?二分类问题我们一般不用 S o f t m a x Softmax Softmax函数,而一般用 s i g m o i d sigmoid sigmoid函数。不过用 S o f t m a x Softmax Softmax函数和 S i g m o i d Sigmoid Sigmoid函数都一样,没什么区别。

分类问题的Loss

在这里插入图片描述
计算Loss第一种的方法就是之前提到的MSE,求均方差。
第二种方法就是求交叉熵。计算式在上图右下角,交叉熵在分类问题中被广泛应用,甚至在pytorch中Cross-entropy是和softmax绑定的,在前者函数中内建了softmax函数,在使用Gross-entropy时,softmax会被加到神经网络的最后一层。
注意:最小化交叉熵与极大似然式等价的。

使用Cross-entropy的优点

在这里插入图片描述
上图是将 y i y_i yi?赋予不同的取值区间,经过softmax后分别使用MSE和Cross-entropy形成的Error Surface。左上角的红色区域表示Large Loss,右下角的蓝色区域表示Small Loss。

我们可以看到MSE形成的Surface,先是在起点处就是一大片几乎平坦的Large Loss,这会直接导致stuck,相较之下,Cross-entropy的起点处是梯度比较大的,更方便训练。

而且这也表明Loss Function的不同也会影响最优化的难度和最终训练的效果。


总结

本节主要讲授了分类问题是怎么去做,怎么去优化的,出现了Softmax和Cross-entropy,解释了使用的原因和优点。

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-08-30 12:03:49  更:2021-08-30 12:04:35 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/1 12:33:07-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码