作业2

在这里插入图片描述

（1）线性回归模型的最小二乘表达

线性回归模型：
假设：数据集 $D = \{(x_1,y_1),...,(x_N,y_N) \}$ ， $x_i \in R^p,y_i \in R,i = 1,2,...,N$ ， $X = (x_1,x_2,...,x_N)^T,Y=(y_1,y_2,...,y_N)^T$
假设X和Y之间存在线性关系，模型的具体形式为 $\hat{y}=f(w) =w^Tx$

最小二乘表达式
最小二乘法的目的就是找到 $w$ 使 $\sum\limits_{i=1}^{N}(w^Tx_i-y_i)^2$ 最小。即： $\hat{w} = argmin\;L(w)$

为了达到求解最小化L(w)问题，我们应用高等数学的知识，使用求导来解决这个问题： $\\ \frac{\partial L(w)}{\partial w} = 2X^TXw-2X^TY = 0, \\ 可得 \hat{w} = (X^TX)^{-1}X^TY$
上式即为最小二乘法的表达式。

（2）极大似然估计与最小二乘法的联系

什么是极大似然估计？
极大似然估计，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！

将 $w$ 作为参数，我们得到当前样本出现的概率 $P (Y ∣ X; w),$ 令 $log\;P(Y|X;w) = log\;\prod_{i=1}^N P(y_i|x_i;w) = \sum\limits_{i=1}^{N} log\; P(y_i|x_i;w)$ ，则 $L (w)$ 被称为似然函数，我们的目的是求得使似然函数最大的 $L (w)$ ,也就是 $argmax_w L(w)$

如何求解 $w,使得argmax_w L(w)？$ ，我们需要先假设数据服从正太分布， $y_i \backsim N(w^Tx,\sigma^2)$ ,同时数据的噪声也 $\epsilon \backsim N(0,\sigma^2)$ ,则可得如下公式
$log\;P(Y|X;w) = log\;\prod_{i=1}^N P(y_i|x_i;w) = \sum\limits_{i=1}^{N} log\; P(y_i|x_i;w)\\ = \sum\limits_{i=1}^{N}log(\frac{1}{\sqrt{2\pi \sigma}}exp(-\frac{(y_i-w^Tx_i)^2}{2\sigma^2})) = \sum\limits_{i=1}^{N}[log(\frac{1}{\sqrt{2\pi}\sigma})-\frac{1}{2\sigma^2}(y_i-w^Tx_i)^2] \\$
最终得 $argmax_w L(w) = argmin_w[l(w) = \sum\limits_{i = 1}^{N}(y_i-w^Tx_i)^2]$

与最小二乘法的联系
当极大似然估计的似然函数模型采用正太分布时，噪声 $\epsilon\backsim N(0,\sigma^2)$ ，计算结果与最小二乘法一致。

$因此：线性回归的最小二乘估计<==>噪声\epsilon\backsim N(0,\sigma^2)的极大似然估计$

（3）多项式为什么表现不好

当多项式中阶数取较大时，多项式曲线就会越光滑，在X的边界处有异常的波动。导致预测效果的稳定性下降。

（4）决策树模型与线性模型的联系和差别

线性模型的模型形式与树模型的模型形式有着本质的区别，具体而言，线性回归对模型形式做了如下假定： $w_0 + \sum\limits_{j=1}^{p}w_jx^{(j)}$ ，而回归树则是 $\sum\limits_{m=1}^{J}\hat{c}_mI(x \in R_m)$ 。

那问题来了，哪种模型更优呢？这个要视具体情况而言，如果特征变量与因变量的关系能很好的用线性关系来表达，那么线性回归通常有着不错的预测效果，拟合效果则优于不能揭示线性结构的回归树。反之，如果特征变量与因变量的关系呈现高度复杂的非线性，那么树方法比传统方法更优。

决策树在可解释性和处理缺失值和异常值方面比线性模型要优。但预测准确性可能比其他回归模型差。

（5）什么是KKT条件

对于具有不等式约束的最优化问题，
$\\ s.t.\;\;\;g_i(x) \le 0,\; i=1,2,...,m\\ \;\;\;\;\; h_j(x) = 0,\; j=1,2,...,l$
如果有最优解 $x^*$ ，则 $x^*$ 的必要条件如下：
$\nabla f(x^*) + \sum\limits_{i=1}^{m}\lambda_i \nabla g(x^*) + \sum\limits_{j=1}^{l}\mu_j \nabla h_j(x^*) = 0(对偶条件)\\ \lambda_i \ge 0,\;i = 1,2,...,m(对偶条件)\\ g_i(x^*) \le 0(原问题条件)\\ h_j(x^*) = 0(原问题条件)\\ \lambda_i g(x^*) = 0(互补松弛定理)$
这就是KKT条件

（6）为什么引入原问题的对偶问题？

是因为原问题与对偶问题就像是一个问题两个角度去看，如利润最大与成本最低等。有时侯原问题上难以解决，但是在对偶问题上就会变得很简单。任何一个原问题在变成对偶问题后都会变成一个凸优化的问题，而凸优化问题在最优化理论较为简单。

（7）线性回归实例

作业所需数据 akti

此数据是一份空气质量的检测资料，来自李宏毅老师的机器学习公开课，train.csv给出了整个2014年，每个月前20天的数据，这些数据包含了共计18个特征，在这些天每一个小时的变化。我们所需要的根据这些数据训练出一个模型，要求根据前九个小时的数据，预测出第10个小时的PM2.5。

读取数据

import pandas as pd
data = pd.read_csv('./train.csv', encoding = 'big5')

数据提取与变换

data = data.iloc[:, 3:]   #取出第三列之后的数据
data[data == 'NR'] = 0    #把非数字转为数字
raw_data = data.to_numpy()

将资料按照每月划分

month_data = {}
for month in range(12):
    sample = np.empty([18, 480])
    for day in range(20):
        sample[:, day * 24 : (day + 1) * 24] = raw_data[18 * (20 * month + day) : 18 * (20 * month + day + 1), :]
    month_data[month] = sample

这样month_data所存储的就是这个月的相关数据。

根据题目的要求，我们需要按照前九个小时的数据来得到第十个小时的数据，也就是前9个小时的18个features作为特征，第十个小时的PM2.5作为结果来构建regression回归，实际上所需要得到的就是一个含有18*9=162个系数的一维特征数组。而我们需要根据到手的数据制作训练集与测试集。

特征提取

x = np.empty([12 * 471, 18 * 9], dtype = float)
y = np.empty([12 * 471, 1], dtype = float)
for month in range(12):
    for day in range(20):
        for hour in range(24):
            if day == 19 and hour > 14:
                continue
            x[month * 471 + day * 24 + hour, :] = month_data[month][:,day * 24 + hour : day * 24 + hour + 9].reshape(1, -1) 
            y[month * 471 + day * 24 + hour, 0] = month_data[month][9, day * 24 + hour + 9] #value

Normalize归一化

mean_x = np.mean(x, axis = 0) #18 * 9 
std_x = np.std(x, axis = 0) #18 * 9 
for i in range(len(x)): #12 * 471
    for j in range(len(x[0])): #18 * 9 
        if std_x[j] != 0:
            x[i][j] = (x[i][j] - mean_x[j]) / std_x[j]

划分训练集和验证集

import math
x_train_set = x[: math.floor(len(x) * 0.8), :]
y_train_set = y[: math.floor(len(y) * 0.8), :]
x_validation = x[math.floor(len(x) * 0.8): , :]
y_validation = y[math.floor(len(y) * 0.8): , :]

print("训练集长度",len(x_train_set))
print("训练集长度",len(y_train_set))
print("验证集长度",len(x_validation))
print("验证集长度",len(y_validation))

采用线性模型训练

dim = 18 * 9 + 1
w = np.zeros([dim, 1])
x_t = np.concatenate((len(x_train_set), 1]), x_train_set), axis = 1).astype(float)
learning_rate = 100
#
iter_time = 1000
adagrad = np.zeros([dim, 1])
eps = 0.0000000001
for t in range(iter_time):
    loss = np.sqrt(np.sum(np.power(np.dot(x_t, w) - y_train_set, 2))/len(x_train_set))#rmse
    if(t%100==0):
        print(str(t) + ":" + str(loss))
    gradient = 2 * np.dot(x_t.transpose(), np.dot(x_t, w) - y_train_set) #dim*1
    adagrad += gradient ** 2
    w = w - learning_rate * gradient / np.sqrt(adagrad + eps)
np.save('weight.npy', w)

使用验证集验证模型

w = np.load('weight.npy')

x_v=np.concatenate((len(x_validation), 1]), x_validation), axis = 1).astype(float)
#预测结果
ans_y = np.dot(x_v, w)
loss_v= np.sqrt(np.sum(np.power(ans_y - y_validation, 2))/len(x_train_set))
print("模型验证集误差",loss_v)