[数据结构与算法]线性最小二乘法与非线性最小二乘法

1 最小二乘问题

目标函数为若干个函数的平方和的最优化问题：

其中，x∈Rⁿ，m≥n，这类问题称为最小二乘问题。当每个r_i(x)都是线性函数时，问题(7.5.1)称为线性最小二乘问题，否则称为非线性最小二乘问题。

2 线性最小二乘法

从而问题(7.5.1)可表示为：

由于f(x)是凸函数，因此：

必是全局极小点。因此对于线性最小二乘问题，只要A^TA非奇异，就可用式(7.5.4)求解。

3 非线性最小二乘法

设问题(7.5.1)中r_i(x)是非线性函数，且f(x)存在连续偏导数，则问题(7.5.1)成为非线性最小二乘问题，因此不能利用式(7.5.4)求解。

下面介绍两种方法。

3.1 高斯-牛顿法

3.2 Levenberg-Marquardt方法

在高斯-牛顿法中，有时会出现J(x^(k))^TJ(x^(k))奇异或接近奇异的情形，这时求解方程组(7.5.10)会遇到很大困难，甚至根本不能进行。因此人们提出了一些修正算法。

具体后续内容待补充。

4 参考书籍

《最优化理论与方法》-王景恒，北京：北京理工大学出版社，2018.8

END