[人工智能]1 统计学习及监督学习概论

目录

术语

1.1 统计学习

1 统计学习的特点

2 统计学习的对象

3 统计学习的目的

4 统计学习的方法

术语

统计学习 statistical learning

统计机器学习?statistical machine learning

数据 data

监督学习 supervised learning

无监督学习 unsupervised learning

强化学习 reinforcement learning

训练数据 training data

假设空间 hypothesis space

评价准则 evaluation criterion

测试数据 test data

模型 model

策略 strategy

算法 algorithm

输入空间 input space

输出空间 output space

实例 instance

特征向量 feature vector

特征空间 feature space

1.1 统计学习

1 统计学习的特点

• 统计学习：计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析

????????/统计机器学习

• 特点：

1. 平台：计算机及网络，是建立在计算机及网络上的
2. 研究对象：数据，是数据驱动的学科
3. 目的：对数据进行预测与分析
4. 中心：方法
5. 交叉学科：概率论、统计学、信息论、计算理论、最优化理论及计算机科学等

• 统计学习：计算机系统通过运用数据及统计方法提高系统性能的机器学习

2 统计学习的对象

数据

• 数据??提取数据的特征??抽象数据的模型??发现数据的知识??对数据的分析与预测
• 统计学习关于数据的基本假设/统计学习的前提：同类数据具有一定的统计规律性
  • 同类数据：具有某种共同性质的数据
• 统计规律性??可以用概率统计方法处理
  • 用随机变量描述数据中的特征
  • 用概率分布描述数据的统计规律
• 统计学习中数据的表示：变量/变量组
  • 连续变量
  • 离散变量（为主）

3 统计学习的目的

对数据进行预测与分析

• 预测：使计算机更加智能化/使计算机的某些性能得到提高
• 分析：获取新的知识

4 统计学习的方法

基于数据构建概率统计模型并运用模型对数据进行预测与分析

• 统计学习组成：
  • 监督学习
  • 无监督学习
  • 强化学习
• 统计学习方法的概括：

1. 从给定的、有限的、用于学习的训练数据集合出发，假设数据是独立同分布产生的；
2. 假设空间：假设要学习的模型属于某个函数的集合；
3. 应用某个评价准则，从假设空间中选取一个最优模型，使它对已知的训练数据及未知的测试数据在给定的评价准则下有最优的预测；
4. 最优模型的选取由算法实现。

• 实现统计学习方法的步骤：

1. 得到一个有限的训练数据集合；
2. 确定包含所有可能的模型的假设空间，即学习模型的集合；
3. 确定模型选择的准则，即学习的策略；
4. 实现求解最优模型的算法，即学习的算法；
5. 通过学习方法选择最优模型；
6. 利用学习的最优模型对新数据进行预测或分析。

• 监督学习方法的应用：自然语言处理、信息检索、文本数据挖掘

5 统计学习的研究

• 统计学习方法：开发新的学习方法
• 统计学习理论：探求统计学习方法的有效性与效率、统计学习的基本理论问题
• 统计学习应用：将统计学习方法应用到实际问题中去，解决实际问题

6 统计学习的重要性

• 统计学习的应用：人工智能、模式识别、数据挖掘、自然语言处理、语音处理、计算视觉、信息检索、生物信息等计算机应用领域
• 重要性：

1. 处理海量数据
2. 计算机智能化
3. 是计算机科学发展的重要组成部分

• 计算机科学组成：系统、计算、信息????????

1.2 统计学习的分类

1.2.1 基本分类

1 监督学习

从标注数据中学习预测模型的机器学习问题。

• 标注数据：输入输出的对应关系
• 预测模型：对给定的输入产生相应的输出

监督学习的本质：学习输入到输出的映射的统计规律。

1. 输入空间、特征空间、输出空间

输入空间：输入所有可能取值的集合

输出空间：输出所有可能取值的集合

• 有限元素的集合/整个欧式空间
• 同一个空间/不同的空间
  • 通常，输出空间远小于输入空间

实例：每个具体的输入，由特征向量表示

特征空间：所有特征向量存在的空间

• 每一维对应于一个特征
• 假设：输入空间与特征空间为相同的空间
• 假设：输入空间与特征空间为不同的空间，将实例从输入空间映射到特征空间
• 模型定义在特征空间上