1 导论

机器学习的一个重要的目标就是利用数学模型来理解数据，发现数据中的规律，用作数据的分析和预测。

根据数据是否有因变量，机器学习的任务可分为：有监督学习和无监督学习

根据因变量的是否连续，有监督学习又分为回归和分类

# 引入相关科学计算包
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline 
plt.style.use("ggplot")      
import seaborn as sns

1.1 回归

例子：使用sklearn内置数据集Boston房价数据集

from sklearn import datasets
boston = datasets.load_boston()     # 返回一个类似于字典的类
X = boston.data
y = boston.target
features = boston.feature_names
boston_data = pd.DataFrame(X,columns=features)
boston_data["Price"] = y
boston_data.head()

sns.scatterplot(boston_data['NOX'],boston_data['Price'],color="r",alpha=0.6)
plt.title("Price~NOX")
plt.show()

1.2 分类

from sklearn import datasets
iris = datasets.load_iris()
X = iris.data
y = iris.target
features = iris.feature_names
iris_data = pd.DataFrame(X,columns=features)
iris_data['target'] = y
iris_data.head()

# 可视化特征
marker = ['s','x','o']
for index,c in enumerate(np.unique(y)):
    plt.scatter(x=iris_data.loc[y==c,"sepal length (cm)"],y=iris_data.loc[y==c,"sepal width (cm)"],alpha=0.8,label=c,marker=marker[c])
plt.xlabel("sepal length (cm)")
plt.ylabel("sepal width (cm)")
plt.legend()
plt.show()

1.3 无监督学习

# 生成月牙型非凸集
from sklearn import datasets
x, y = datasets.make_moons(n_samples=2000, shuffle=True,
                  noise=0.05, random_state=None)
for index,c in enumerate(np.unique(y)):
    plt.scatter(x[y==c,0],x[y==c,1],s=7)
plt.show()

# 生成符合正态分布的聚类数据
from sklearn import datasets
x, y = datasets.make_blobs(n_samples=5000, n_features=2, centers=3)
for index,c in enumerate(np.unique(y)):
    plt.scatter(x[y==c, 0], x[y==c, 1],s=7)
plt.show()

2 使用sklearn构建完整的机器学习项目流程

一般来说，一个完整的机器学习项目分为以下步骤：

明确项目任务：回归/分类
收集数据集并选择合适的特征。
选择度量模型性能的指标。
选择具体的模型并进行训练以优化模型。
评估模型的性能并调参。

2.1 使用sklearn构建完整的回归项目

（1）收集数据集并选择合适的特征

from sklearn import datasets
boston = datasets.load_boston()     # 返回一个类似于字典的类
X = boston.data
y = boston.target
features = boston.feature_names
boston_data = pd.DataFrame(X,columns=features)
boston_data["Price"] = y
boston_data.head()

（2）选择度量模型性能的指标

MSE均方误差

MAE平均绝对误差

R2决定系数

解释方差得分

（3）选择具体的模型并进行训练

线性回归模型

(a) 最小二乘估计：衡量真实值𝑦𝑖yi与线性回归模型的预测值𝑤𝑇𝑥𝑖wTxi之间的差距，在这里我们和使用二范数的平方和L(w)来描述这种差距

$\omega =(X^{T}X)^{-1}X^{T}Y$

(b) 几何解释： $X^{T}(Y-X\omega )=0$

使用sklearn的线性回归实例来演示

from sklearn import linear_model      # 引入线性回归方法
lin_reg = linear_model.LinearRegression()       # 创建线性回归的类
lin_reg.fit(X,y)        # 输入特征X和因变量y进行训练
print("模型系数：",lin_reg.coef_)             # 输出模型的系数
print("模型得分：",lin_reg.score(X,y))    # 输出模型的决定系数R^2

线性回归推广

(a) 多项式回归：体现因变量和特征的非线性关系

(b) 广义可加模型(GAM)：每一个变量都用一个非线性函数来代替，但是模型本身保持整体可加性。

回归树

依据分层和分割的方式将特征空间划分为一系列简单的区域。对某个给定的待预测的自变量，用他所属区域中训练集的平均数或者众数对其进行预测。

支持向量机回归(SVR)

约束优化问题(P)

KKT条件(最优解的一阶必要条件)

对偶理论：任何一个原问题在变成对偶问题后都会变成一个凸优化的问题

SVR认为：落在𝑓(𝑥)f(x)的𝜖?邻域空间中的样本点不需要计算损失，这些都是预测正确的，其余的落在𝜖?邻域空间以外的样本才需要计算损失。