[人工智能] 机器学习的误差与梯度

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> 机器学习的误差与梯度 -> 正文阅读

[人工智能]机器学习的误差与梯度

### 误差

有了模型之后，损失函数用来量化预测值和真实值之间的差距，进一步反映模型与数据的拟合程度。

常见的损失函数有评分损失函数，平方损失函数，log对数损失函数，交叉熵损失函数，极大似然估计等。

梯度下降最简单的用法是计算损失函数（数据集中所有样本的损失均值）关于模型参数的导数。
$(\mathbf{w},b) \leftarrow (\mathbf{w},b) - \frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} \partial_{(\mathbf{w},b)} l^{(i)}(\mathbf{w},b).$
sgd的大致步骤：（1）初始化模型参数的值，如随机初始化；（2）从数据集中随机抽取小批量样本且在负梯度的方向上更新参数，并不断迭代这一步骤。