博主是个懒癌晚期患者，偶然间接触了许多关于机器学习，计算机视觉，最优化方法，博弈论，运筹学，又学了一点matlab，python，c++，c语言，java等所以就想做一点知识分享，也能帮助其它一样和我懒癌晚期的朋友可以简单的直接学习，所以就萌生了这个想法，可能技术一般，有些许错误，希望各位大佬赐教，指出，主要优点是将程序和数学原理相结合（展现出程序内部的数学思想）
机器学习的一些基础概念
学习（训练）
基本要求：独立同分布：样本空间的全体样本都服从一个未知的分布且相互独立
训练集：参与模型训练的样本集合
测试：学习模型后，使用其样本进行预测的过程
测试集：被预测的样本集合·
假设：学习得模型对应的关于数据的某种潜在规律
分类：输出结构是离散值
回归：输出结果是连续值
监督学习：训练样本有标记
无监督学习：训练样本无标记
泛化能力：学得模型使用新样本的能力
假设空间
归纳：从特殊到一般的“泛化”：从样本（训练样本）中学习
演绎：从一般到特殊：从数学公理推到出定理
版本空间：与训练空间一致的架设几何称为“版本空间”
模型（学习器）的偏好
归纳偏好的原则：奥卡姆剃刀（简单优先）
经验误差与过拟合
误差：模型输出与样本真实值之间的差异
错误率：分类错误样本数占总样本数比例
精度=1-错误率
训练误差：模型在训练集上的误差
泛化误差：模型在新样本上的误差
目标：得到泛化误差小的模型 / 学习器（模型）从训练样本中学的适用于所有潜在样本的“普遍规律”（实际上新样本未知，因此我们以经验误差代表泛化误差）
评估方法
目标：对于模型/学习器的泛化误差进行评估
专家样本：训练集+测试集
训练集：训练误差
测试集：测试误差
测试误差与泛化误差
留出法，交叉验证法，自助法
留出法（训练集+测试集，互斥互补，合理划分，保持比例）
训练集训练模型，测试集测试模型，单次留出，多次留出
多次留出法：如对专家样本随机进行100次训练集/测试集划分，评估结果取平均
交叉验证法（单次k折交叉验证，p次k折交叉验证
K折交叉验证：将专家样本等分为k个数据集轮流用k-1个数据集用于训练，1个用于测试
自助法
- 留出法与交叉验证的训练集数据少于样本数据
- 给定m个样本的数据集D，从D中有放回随机抽取m次数据形成训练集D‘
- 用D中不含D‘的样本作为测试集
- D中某个样本不被抽中概率为
- 测试集数据占比
- 缺点：改变了初始集的分布
性能度量
评价方法与评价标准
回归任务的评价标准：均方误差
?
精度=1-错误率（分类正确样本数占总样本数比例）
错误率：分类错误样本数占总样本数比例
?
?
| ID | Real（真实） | Pre（预测） |
| 1 | m | m |
| 2 | w | w |
| 3 | m | m |
| 4 | m | w |
| 5 | w | w |
| pre | |||
| real | 1(m) | 0(w) | |
| 1(m) | tp | Fn | |
| 0(w) | fp | tn | |
| pre | |||
| real | 1(m) | 0(w) | |
| 1(m) | 2 | 1 | |
| 0(w) | 0 | 2 | |
Tp:实际为男性预测为男性，fn实际为男性预测为女性
fp实际为女性预测为男性，tn实际为女性预测为女性
设定tp和tn的值为2，fn为1，fp为0
查准率/准确率（precision）：
查全率/召回率/灵敏度（recall）:
F1系数 综合查准率与查全率（设样本总量为k）
一般形式，
为正数度量了查全率对查准率的相对重要性
更关注查准率，
更关注查全率，
标准的F1系数
多次训练/测试时的F1系数
先分后总：分别计算各混淆矩阵的查准率和查全率再以均值汇总
?
??
?
先总后分：将混淆矩阵的对应元素（tp，fp，tn，fn）进行汇总平均，再求P
???
?
?
?
?