[人工智能]人工智能学习笔记

目录

扫盲阶段

四类人员

人工智能分类

海量数据作为基础

要素

1. 数据处理

1.1. 数值摘要、数据降维

1.2. 可视化

1.3.?仿射变换

1.4. 对数

2. 分类

3. 回归模型

初探人工智能知识，初步认识数据处理、分类、回归。

扫盲阶段

四类人员

从角色维度分为四类人员

• 了解者：大致了解理论，对结果具有判断能力，不被忽悠。
• 开发者：了解理论，根据业务场景选择合适算法，进行机器学习方面的业务开发。
• 实现者：精通理论，实现具体机器学习算法。
• 理论提供者：提出机器学习算法理论

人工智能分类

• 数据挖掘：对海量数据进行分析，最终得到一个数据分析的静态结果，通过图表进行体现。
• 机器学习：基于海量数据的训练，最终获得一个方程式。后续将新数据应用于方程式，得出一个结果。

海量数据作为基础

要素

• 模型
• 策略
• 算法

1. 数据处理

使用数据矩阵(数据块)表现需要分析的数据。通过数据摘要、数据可视化清晰的表示数据。

1.1. 数值摘要、数据降维

涉及的数学概念

计算平均的方式

评估数据点的离散程度

数值摘要

• 把数据表中的所有行(列)精简为几个数字
• 将数据表中几列摘要为一个数字，表示几列间的相关性

数据降维

将数据中很多列变为多列甚至一列，得到的列数据对于每行原数据都是唯一的。就是对每行就行数值摘要，构成新的数据表。

使用每一行数据的哪些属性来做降维呢？

• 最小值
• 第一个四分位数
• 中位数
• 均值
• 第三个四分位数
• 最大值
• 标准差

摘要统计

所有数据在某一列(某一属性)上的特点

1.2. 可视化

首选密度曲线图(density plot)，与柱状图相比，需要的数据点较少，平滑性更接近数据潜在形状。

对称分布

• 正态分布，均值规定对称轴，方差规定宽度，均值＝中位数＝众数，单峰对称分布，钟型窄尾分布。
• 柯西分布，单峰对称分布，钟型重尾分布。

偏态分布

单峰/多峰分布

窄尾重尾分布

• 窄尾分布，99%的数据在均值附近，如正态分布。
• 重尾分布，数据距离均值距离较远，如柯西分布。

1.3.?仿射变换

在空间中对点进行简单的线性移动。

1.4. 对数

指数的逆运算。自然对数，以e(近似2.718)为底数，符号为ln。常用对数，以10为底数，符号为log。

用途：

• 当数据非常大时，使用对数进行缩小；
• 当数非常小时，使用(对数＋仿射变换)进行放大。例如计算权重。

2. 分类

数据

待学习的已标注分类样例。

每个样例包括：

• 标签
• 特征，一系列描述样例的可测量变量，称为特征或预测变量，如人的身高体重等。

条件概率：已知一个事件发生的前提下，预估另一个事件发生的概率。

贝叶斯决策论方法

基本思路

1. 已知类条件概率密度参数表达式与先验概率

• 类条件概率密度
  • 假设x是一个连续的随机变量，其分布区别于类别状态，表示为P(x|w)的形式，类别状态为w时的x的概率密度函数。
• 先验概率

2. 利用贝叶斯公式转换为后验概率

3. 根据后验概率进行决策判断

描述

假设B1，B2，……是某个过程的若干可能结果的前提，若P(Bi)是各个前提条件出现的可能性大小的估计，则P(Bi)就称为先验概率。

如果过程出现某个结果A，则贝叶斯公式提供了根据A的出现，对前提条件作出新评价的方法，P(Bi|A)即为以A为前提下Bi的出现概率的重新认识，称P(Bi|A)为后验概率。

案例

是否垃圾邮件

• 垃圾邮件概率P1，非垃圾邮件概率P2
• 词项在不同前提下的概率P(x|w)
• 根据邮件中词项计算前提的概率，从而判断是否垃圾邮件

邮件优先级排序

• 选取影响优先级的特征，如社交/收件人/邮件往返频率/词项/
• 分别针对每个特征，计算所有可能数据与权重
• 根据邮件获取其特征数据与权重，所有权重乘积作为排序权重。

3. 回归模型

用已知数据集合去预测另一个数据集合，输出是纯粹的数字，数字不代表任何含义。例如：以过去每天的温度预测明天的温度。

判断预测的准确性

• 平方误差。预测结果Y，实际结果h，平方误差(y-h)^2
• 均方误差MSE，平方误差的均值
• 均方根误差RMSE，对均方误差开平方
• R^2，模型的RMSE与仅使用均值作为预测结果的RMSE的比值，介于0-1之间，通常会＊100.

用回归模型关联数值型数据前，先绘制散点图，这样能清晰判断回归模型的线性假设是否成立。

通过对输入进行转换，将非线性问题转换为线性问题，是机器学习中常见的方法，这也是核方法本质的思想。?

过拟合：一个模型拟合了噪声数据，而非真正的数据。训练误差小，但测试误差大。泛化能力很差。

欠拟合：模型过于简单，无法拟合训练数据。

避免过拟合和欠拟合的方式：交叉验证、正则化。有助于使用复杂的模型描述数据中隐藏的复杂模式，又不至于过拟合。

交叉验证

在模型的拟合过程中，不使用全部历史数据，而是分为两部分数据，一部分用于模型拟合，一部分用于模型校验。

正则化

指的是在拟合效果与模型复杂度之间进行权衡的过程，最终需要在“模型复杂度简单但拟合效果不够好的模型”与“模型复杂度高但拟合效果很好的模型”间进行选择。过程中会得到多个复杂度的模型，因此需要使用交叉验证＋衡量准确性的方式(RMSE,R^2)进行模型选择。

线性回归

多项式回归

文本回归，利用文本信息预测一些输出数值。

逻辑回归，一个样本属于两个类别之中某一个的概率。除了输出介于0-1之间，逻辑回归本质上与线性回归是一致的，唯一的区别是需要根据输出是否高于一个阀值，从而作出分类判断。

4. 其他

有监督学习，使用已知正确答案的训练样本，从中进行学习的过程，发现数据模型，称为有监督学习。

无监督学习