参考
https://zhuanlan.zhihu.com/p/440482410(示例) https://blog.csdn.net/fq_wallow/article/details/104555623/(原理) https://www.baidu.com/link?url=wP59lC-dNXib-PoRVcCyrM9aJAT67-180CNoMOWtcqObthYuXtZZWqng7V05edqjU5KsjEnKBb6mFB2KOH85P7eviUqrNaYBsySeNerJVVG&wd=&eqid=94b62204000319dd00000006624ff830(岭回归分类器)
定义
岭回归是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态数据的拟合要强于最小二乘法。
模型输入要求
自变量X至少一项或以上的定量变量或二分类定类变量。 因变量Y要求为定量变量(若为定类变量,请使用逻辑回归)。
用法
岭回归(Ridge Regression)是回归方法的一种,属于统计方法。在机器学习中也称作权重衰减。也有人称之为Tikhonov正则化。岭回归主要解决的问题是两种:一是当预测变量的数量超过观测变量的数量的时候(预测变量相当于特征,观测变量相当于标签),二是数据集之间具有多重共线性,即预测变量之间具有相关性。
公式
模型的目标是最小化以下目标函数,此函数相当于在线性回归的基础上加入一个正则项:
a
r
g
m
i
n
w
=
∣
∣
X
?
ω
?
Y
∣
∣
2
+
λ
∣
∣
ω
∣
∣
2
argmin_w = ||X*\omega - Y||^2 + \lambda||\omega||^2
argminw?=∣∣X?ω?Y∣∣2+λ∣∣ω∣∣2
岭回归分类器
RidgeClassifier,这个分类器有时被称为带有线性核的最小二乘支持向量机。 该分类器首先将二进制目标转换为{- 1,1},然后将该问题视为回归任务。
|