Skip to content

自变量个数多于样本量 ay = bx + cz + d by = cx + az + d

自变量间存在多重共线性 y = ax + b 2y = 2ax + 2b

线性回归模型的短板 1、可能会出现自变量个数多于样本量或者自变量间存在多重共线性的情况(即X′X的行列式为0)

2、过拟合

解决方式: 加惩罚项	
			L2正则化  岭回归

			L1正则化  LASSO回归

岭回归模型解决问题的思路 就是在线性回归模型的目标函数之上添加l2正则项(也称为惩罚项)。 ridge类实现模型系数的求解(建模)

λ值的确定--可视化法
		ridge 基于多个λ建模并且画图,找到使回归系数稳定的λ

λ值的确定--交叉验证法
		RidgeCV 找最佳λ
		
		ridge  基于最佳λ建模

岭回归模型:y = -321.996227 + 6.206337 MBI + 0.927093 BP - 0.479414 S1 + 0.202203S2

Lasso回归模型 Lasso类实现模型系数的求解(建模) λ值的确定--可视化法 Lasso 基于多个λ建模并且画图,找到使回归系数稳定的λ

λ值的确定--交叉验证法
		LassoCV  找最佳λ
		
		Lasso  基于最佳λ建模

Lasso回归模型: y = -278.560358 + 6.188602BMI + 0.860826BP - 0.127627s1 - 0.000000s2

基于 Vite 强力驱动 | 纯静态轻量托管