开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 数据结构与算法 -> 数学建模——基于最小二乘法的回归分析 →预测问题(工具：matlab，线性回归和非线性回归通用) -> 正文阅读

[数据结构与算法]数学建模——基于最小二乘法的回归分析 →预测问题(工具：matlab，线性回归和非线性回归通用)

我尽量用通俗的语言来描述。

虽然这道题是非线性回归的问题，但其 做题步骤、做题思想 和线性回归是相似的，也可作参考。

一、最小二乘法是什么？

??最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。

??利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

??曲线拟合可用最小二乘法来进行进行参数估计 (即用来估计斜率k和截距b)。最小二乘法也可用于其他优化问题。

二、非线性回归是什么？

??非线性回归是回归函数关于未知回归系数具有非线性结构的回归。常用的处理方法有回归函数的线性迭代法、分段回归法、迭代最小二乘法等。非线性回归分析的主要内容与线性回归分析相似。

三、最小二乘法和回归分析之间有什么关系？

?? “ 最小二乘法 ” 只是回归分析中的一种方法，同样地，和最小二乘法相对应的还有：最小绝对值法等。
?? 更多概念区分详见链接:https://blog.csdn.net/Wang_Dou_Dou_/article/details/118739458?spm=1001.2014.3001.5501.

三、样例及做题过程

	举一个简单的栗子：有个房地产投资商，给你一张表如下。然后让你来预测2010年该地区的房价。

在这里插入图片描述

第一步：问题的分析

??要预测2010年该地区的房价，首先必须要找到一个年份与房价之间的函数表达式，使其能够比较好的 “贴近” 这些样本数据点，并且达到误差最小。

??要实现这一点，我们首先要确定使用怎样的一个函数。

??为了找到这样一个函数，我们先用最简单的函数试一下，即线性函数或二次函数。利用MATLAB的数据拟合功能，分别对数据点进行线性和二次拟合，在这里我们只是想直观地看一看，用线性或者二次函数能不能较好第 “贴近” 这些数据点。


% x是年份，以2007年为第0年，y是房价
x = 0:2009 - 1997;
y = [767 895 995 1117 1261 1437 1640 1957 2244 2489 2801 3096 3500];
fy1 = polyfit(x,y,1);   % 线性拟合
fy2 = polyfit(x,y,2);   % 二次拟合

t = 0:0.1:2009 - 1997
y1 = zeros( size(t) );  % 初始化
y2 = zeros( size(t) );  % 初始化
y1 = polyval(fy1,t);    % 得到线性拟合的纵坐标值
y2 = polyval(fy2,t);    % 得到二次拟合的纵坐标值

plot(x,y,'*',t,y1,'--',t,y2,'-');
xlabel('时间/年(记2007年为第0年)');
ylabel('房价/元');
legend('原始数据','一维拟合','二维拟合');

运行结果如下：

在这里插入图片描述

??从上图中可以直观地看出，房价和时间(年份)的关系更加接近于一个二次函数、由此分析，我们应该为此建立一个二次函数的回归模型。

第二步：模型的建立

??我们所要建立的二次函数的回归模型，应该能够使得函数能够 “最好的” 表现房价y 和年份x 的关系。而什么才算 “最好的” 的呢？这个时候，就用上最小二乘法了。其 核心思想 就是，让 函数上的值与实际值之间的差别最小。

??在建立数学模型之前，首先要明确一下变量：y 是指房屋的价格， x 是指时间(年份)，而 $\hat y$ 是由函数 $\hat y(x)$ 所确定的房价y的估计值。

??即设： $\hat y(x)$ = a₀ + a₁x + a₂x²

??并找到合适的参数 a₀ 、 a₁ 、 a₂
??使得
在这里插入图片描述

??达到最小值。

第三步：模型的求解

??这一步相当于要求我们找到三个参数来求 $\hat y(x)$ ，并要求使得上面的(1)式达到最小。由于 $\hat y(x)$ = a₀ + a₁x + a₂x² ，其中 x 和 y 的数据都已知。则具体步骤如下：

--------------------------分割线----------------------------
??Step1：显然该函数【说的是(1)式】的变量有三个【注：我没有展开(1)式的 $\hat y(x)$ 】，即 a₀ 、 a₁ 、 a₂ ，要求函数的最小值，则需分别对三个变量求偏导，并令其等于0，如下如所示：

在这里插入图片描述
??如想知道为什么要这么做，知其具体原理，详见参考附录[6]。

??用matlab来求解这个方程组。

??写一个有助于理解的方程【配合代码看】：
在这里插入图片描述


clc,clear,close all;
x = 0:2009 - 1997;
y = [767 895 995 1117 1261 1437 1640 1957 2244 2489 2801 3096 3500];
x_new = zeros(length(x),3);

% 因为用的是二维拟合，则 x_new 应该为 3*13 的矩阵，第一列为 1 ，第二列为 x ，第三列为 x^2
x_new(:,1) = 1;
x_new(:,2) = x';
x_new(:,3) = (x.^2)';
[b,bint,r,rint,stats] = regress(y',x_new)      % 调用回归函数regress
plot(x,y,'bo');
hold on;
y2 = b(3,1) * x.^2 + b(2,1) * x + b(1,1);      % 非线性回归结果
plot(x,y2,'r*');
t = 0:0.01:12;
xian_y = b(3,1) * t.^2 + b(2,1) * t + b(1,1);  % 回归曲线
plot(t,xian_y,'-');
legend('原始数据','非线性回归结果','回归曲线');
xlabel('时间/年(记2007年为第0年)');
ylabel('房价/元');

运行结果如下：

??a₀ = 779.2418
??a₁ = 75.4540
??a₂ = 12.5899

结果图为：

在这里插入图片描述

--------------------------分割线----------------------------
??Step2：只是求出了这三个参数还不够。我们还要分析一下在 1 - α = 0.95 的置信水平下，参数 a₀ 、 a₁ 和 a₂ 的置信区间是多少。我们利用matlab提供的 “[b, bint, r, rint, stats] = regress(因变量y, 自变量x, 显著性水平α)” ，即可以得到如下数据：

在这里插入图片描述
说明：
??①regress()中的 α 为显著性水平(缺省时默认为0.05)

??②b，bint 为回归系数估计值和它们的置信区间

??③r，rint 为残差(向量) 及其置信区间

??④stats 是用于检验回归模型的统计量，有4个数值，第一个是拟合优度 R²，第二个是对方程整体显著性检验的 F检验，第三个是 p值，第四个是误差方差的估计值 $s^2$ 。

整理运行结果后得到下面这张表：

在这里插入图片描述

??由上表可知，R²=0.9989 表示因变量y(房价)的99.89%可由模型确定，F值远远超过 F检验的临界值，p 远小于 α，因而该回归模型从整体来看是可用的。

补充： F检验、 p值、误差方差s² 的原理详见文章最后的参考附录[2]、[3]、[4]。

--------------------------分割线----------------------------
??Step3：
??得到最终表达式如下：
在这里插入图片描述

??并将 y = 2010 - 2007 = 13 带入此方程，得到2010年估计的房价 $\hat y(13)=3887(元)$ 。

注：如果这道题单纯的只是个 回归分析问题 ，那么做到这里就可以了。顶多再加一张残差分析图，利用 matlab 的函数 rcoplot(r,rint) 即可。如下图所示，最后再加一点文字分析即可。

在这里插入图片描述

第四步：结果的分析及验证（额外）

注：因为这是 预测问题 ，所以还要继续做下去。

??为了分析该结果的 合理性 和 准确性 ，我们还应该考虑这样的问题：如果说房价与年份之间有这么一个不为人知的但是具有 “确定性” 的函数关系 $y = y (x)$ ，而得到的函数 $y=\hat y(x)$ 和它之间肯定具有一定的误差。我们不妨将此误差设为 $ε$ ，则我么能得到一个关系式如下：
$y=\hat y(x) + ε$ ??而如果 $ε$ 满足某个分布的话，我们就可以估计2010年房价的一个合适的范围，而不是前面得到的 “3887” 这么一个 “光秃秃、干巴巴” 的值。

?? 经过整理后，我们得到下表：

在这里插入图片描述
?? 假设 $ε$ 服从正态分布，即 ε ~ N( μ, σ² ) ，不妨使用矩估计的方法来确定参数 $\hat μ$ 和 $\hat σ$ 的值，于是得到下面这个方程组：

?? 手算后解得： $\hat μ≈0$ ， $\hat σ=102$ 。
?? 由此可用matlab绘出 $ε$ 的概率分布图：

在这里插入图片描述
??matlab的代码如下：


clc;clear;close all;
x = -300:1:300;
y = zeros(length(x));
miu = 0;
sigma = 102;
y = 1/(sqrt(2*pi)*sigma) * exp(-(x-miu).^2/(2*sigma.^2)) * 100;
plot(x,y)
ylabel('ε出现的概率(%)');
xlabel('房价(元)');
title('房价误差的正态分布图');

?? 对于 $ε$ 的概率分布图，我们希望找到一个 $ε$ 的阈值 $ε^{'}$ ，使得当 $∣ ε ∣ \leq ε^{'}$ 时， $P (∣ ε ∣ \leq ε^{'}) \geq 0.7$ 。这样做的目的是，我们希望得到一个房价区间，使2010年的真实房价落在这个区间的内的概率比较大(这里的 “比较大” 就是指取的 0.7 )。

?? 由概率论可知，正态分布曲线是对称的。则由 $P(ε≥ε')=\frac {1}{2} \times [1-P(|ε|≤ε')]=0.15$ ，可得 $P (ε \leq ε^{'}) = 1 ? P (ε \geq ε^{'}) = 0.85$ 。而 $\frac {ε'-0}{102})$ 。