自变量个数多于样本量 ay = bx + cz + d by = cx + az + d
自变量间存在多重共线性 y = ax + b 2y = 2ax + 2b
线性回归模型的短板 1、可能会出现自变量个数多于样本量或者自变量间存在多重共线性的情况(即X′X的行列式为0)
2、过拟合
解决方式: 加惩罚项
L2正则化 岭回归
L1正则化 LASSO回归
岭回归模型解决问题的思路 就是在线性回归模型的目标函数之上添加l2正则项(也称为惩罚项)。 ridge类实现模型系数的求解(建模)
λ值的确定--可视化法
ridge 基于多个λ建模并且画图,找到使回归系数稳定的λ
λ值的确定--交叉验证法
RidgeCV 找最佳λ
ridge 基于最佳λ建模
岭回归模型:y = -321.996227 + 6.206337 MBI + 0.927093 BP - 0.479414 S1 + 0.202203S2
Lasso回归模型 Lasso类实现模型系数的求解(建模) λ值的确定--可视化法 Lasso 基于多个λ建模并且画图,找到使回归系数稳定的λ
λ值的确定--交叉验证法
LassoCV 找最佳λ
Lasso 基于最佳λ建模
Lasso回归模型: y = -278.560358 + 6.188602BMI + 0.860826BP - 0.127627s1 - 0.000000s2