IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 数据结构与算法 -> 一元线性回归及loss优化问题小的理解 -> 正文阅读

[数据结构与算法]一元线性回归及loss优化问题小的理解

一.loss优化问题
如果一个损失函数不是凸函数的话,它是无法优化的。就拿mse来说,这个loss函数一出来,它的函数值在所有区间的定义域上就为一个凸函数。所以,在自定义loss函数的时候,要想明白这个问题。
二.西瓜书一元线性回归的求解公式
西瓜书上的一元线性回归的求解是利用我们以前的另偏导直接为0解的,跟我们的高等数学求解方法是一样的。
三.利用梯度优化问题求解一元线性回归(最普通的梯度下降法)
在上面在定义损失函数的时候,已经把,loss函数定义为凸函数,所以它可以利用梯度优化方法来进行优化。其中,需要注意的是我们在优化的时候会像梯度的反方向进行优化。这主要是因为由于梯度定义问题,梯度是由所有的变量所在的坐标轴的方向来定的,由于loss函数是一个凸函数,再加上求完偏导与坐标轴正向的双重条件,以及一个向量可以用坐标轴的基向量进行表示,可以得到凸函数的梯度梯度方向是指向在当前某一点的函数值增长最快的方向,而不是指向loss函数的最小值方向。因此,在进行梯度函数的最小值优化的时候,要往梯度相反的方向进行优化。
四.平面向量可以用二维坐标基向量进行表示(可以往更高维度进行扩展)
普通的基向量只要为两个非共线的非零向量即可,在梯度下降中,基向量的方向为坐标轴,大小为坐标轴所求取的偏导大小。
要注意的根据平行四边形法则,基向量是斜边,而不是直角边。在这里插入图片描述

  数据结构与算法 最新文章
【力扣106】 从中序与后续遍历序列构造二叉
leetcode 322 零钱兑换
哈希的应用:海量数据处理
动态规划|最短Hamilton路径
华为机试_HJ41 称砝码【中等】【menset】【
【C与数据结构】——寒假提高每日练习Day1
基础算法——堆排序
2023王道数据结构线性表--单链表课后习题部
LeetCode 之 反转链表的一部分
【题解】lintcode必刷50题<有效的括号序列
上一篇文章      下一篇文章      查看所有文章
加:2021-08-01 14:44:55  更:2021-08-01 14:44:59 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/25 16:53:42-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码