| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 人工智能 -> 机器学习1 -> 正文阅读 |
|
[人工智能]机器学习1 |
? ? ? ? 本文简单介绍一下机器学习的三要素(以监督学习为例)。机器学习方法都是由模型、策略和算法构成,即机器学习方法由三要素构成,可以简单地表示成: ? ? ? ? ????????????????????????方法 = 模型 + 策略 + 算法 1.模型? ? ? ? 机器学习首先要考虑的问题是学习什么样的模型。在监督学习中,模型就是所要学习的条件概率发布或决策函数。简单地理解:模型本质上就是一个函数,其作用就是实现从一个样本X到样本的标记值Y的一个映射,即 g:X->Y?.下面来详细地阐述什么是模型。 ? ? ? ? 输入空间 X 和输出空间 Y 构成了一个样本空间。对于样本空间中的样本(x,y)∈(X,Y),假定存在一个未知的真实映函数 g: X->Y ,使得? ? ? ? ? ? ? ? ? ? ? 或者? ? ??(真实条件概率分布) 注意:公式里的x表示的是向量,而非单独的一个x值 机器学习的目标是找到一个模型来近似真实映射函数?或 真实条件概率分布?? ? ? ? ? 由于我们不知道真实的?或 真实条件概率分布??的具体形式,我们只能根据经验来假设一个函数集合,称其为假设空间(Hypothesis Space),然后通过观测其在训练集上的特性,从中选择一个理想的假设(Hypothesis). ? ? ? ? 假设空间通常为一个参数化的函数族: ????????????????????????? ? ? ? (1) ? ? ? ? ? ? ? ? 其中是参数为的函数,也称为模型(Model),??为参数的个数 2.策略? ? ? ? 有了模型的假设空间,机器学习接着需要考虑的是按照什么样的准则学习或选择最优的模型。机器学习的目的在于从假设空间中选择合最优的模型。 ? ? ? ? 引入损失函数和风险函数的概念,损失函数用于度量模型一次预测的好坏,风险函数度量平均意义下模型的好坏。 2.1.损失函数? ? ? ? 以监督学习为例,监督学习是在假设空间中选取模型作为决策函数,对于给定的输入 ,由给出相应的输出,这个输出的预测值与真实值可能一致也可能不一致,用一个损失函数(loss function)或代价函数(cost function)来度量预测错误的程度。损失函数记作:,其值为非负的。 ? ? ? ? 常用的损失函数: ? ? ? ? ? ? ? ? (1) 0-1损失函数 ????????????????????????????????? ? ? ? (2) ? ? ? ? ? ? ? ? (2) 平方损失函数 ????????????????????????????????? ? ? ? (3) ? ? ? ? ? ? ? ? (3) 绝对损失函数 ????????????????????????????????? ? ? ? (4) ? ? ? ? ? ? ? ? (4) 对数损失函数 或者 对数似然损失函数 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? (5) ? ? ? ? 损失函数数值越小,表示它越接近最优的模型,即模型就越好。 2.2.风险函数? ? ? ? 由于模型的输入、输出是随机变量,遵循联合分布,所以损失函数的期望是: ????????????????????????? ? ? ? (6) 这是理论上模型关于联合分布的平均意义下的损失,称为风险函数或期望风险。
? ? ? ? ?机器学习的目的就是选择期望风险最小的模型。由于联合分布P(X,Y)是未知的,不能直接计算。实际上,如果知道联合分布P(X,Y),可以从联合分布直接求出条件概率分布P(Y|X),那么也就不需要进行机器学习了。正是因为不知道联合概率分布,所以才需要进行学习。这样一来,一方面根据期望风险最小学习模型要用到联合概率分布,另一方面联合分布又是未知的,所以这就成为一个病态问题。 2.3.经验风险? ? ? ? 给定一个训练数据集: ?????????????????????????????????{? }? ? ? ? (7) 模型关于训练集的平均损失称为 经验风险 (empirical risk) 或 经验损失 (empirical loss),记作??: ????????????????????????????????? ? ? ? (8) ? ? ? ? 期望风险是模型关于联合分布的期望损失,经验风险是模型关于训练样本集的平均损失。根据大数定理,当样本容量N趋于无穷时,经验风险趋于期望风险 ?所以一个很自然的想法是用经验风险估计期望风险。但是有实现中训练样本数目有限,甚至很小,所以用经验风险来估计期望风险往往并不理想,要对经验风险进行一定的矫正。这就关系到监督学习的两个基本策略:经验风险最小化?和?结构风险最小化? ?2.4.经验风险最小化和结构风险最小化2.4.1经验风险最小化? ? ? ? 在假设空间、损失函数以及训练数据集确定的情况下,经验风险函数式(8) 就可以确定。经验风险最小化(empirical risk minimization,ERM)的策略认为,经验风险最小的模型是最优的模型。根据这一策略,按照经验风险最小化求解最优化问题: ?????????????????????????,???(F为假设空间)? ? ? ?(9) 当样本容量足够大时,经验风险最小化能保证有很好的学习效果,在现实中被广泛采纳。如:极大似然估计(maximum likelihood estimation)就是经验风险最小化的一个例子。当模型是条件分布,损失函数是对数损失函数时,经验风险最小化就等于极大似然估计。 2.4.2.结构风险最小化? ? ? ? 当样本容量很小时,经验风险最小化的效果就未必很好,会产生“过拟合”现象(over-fitting)。
? ? ? ? 结构风险最小化(structural risk minimization,SRM)是为了防止过拟合而提出来的策略。结构风险最小化等价于正则化(regularization)。结构风险在经验风险上加上表示模型复杂度的正则化项(regularizer)或惩罚项(penalty term)。结构风险的定义为: ????????????????????????? ? ? ? (10) 其中是模型的复杂度,是定义在假设空间F上的泛函。模型越复杂,复杂度就越大;模型越简单,复杂度就越小。是系数,用来权衡经验风险和模型复杂度。 ? ? ? ? ?结构风险最小化的策略认为结构风险最小的模型是最优的模型,所以求最优模型,就是求优化问题: ????????????????????????,???(F为假设空间)? ? ? ? ?(11) ? ? ? ? 这样,监督学习问题就变成了经验风险或结构风险的最优化问题。这时经验风险或结构风险是最优化的目标函数。 ? ?3.算法? ? ? ? ?算法是指学习模型的具体计算方法。机器学习基于训练数据集,根据学习策略,从假设空间中选择最优模型,最后需要考虑用什么样的计算方法求解最优模型。? ?? ? ?注:本文的内容主要是 李航的《统计学习方法》中的总结 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/27 19:43:49- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |