Lasso回归

# 1、作用

Lasso方法是一种替代最小二乘法的压缩估计方法。Lasso的基本思想是建立一个L1正则化模型，在模型建立过程中会压缩一些系数和设定一些系数为零，当模型训练完成后，这些权值等于0的参数就可以舍去，从而使模型更为简单，并且有效防止模型过拟合。被广泛用于存在多重共线性数据的拟合和变量选择。

# 2、输入输出描述

输入：自变量X至少一项或以上的定量变量或二分类定类变量，因变量Y要求为定量变量（若为定类变量，请使用逻辑回归）。
输出：模型检验优度的结果，自变量对因变量的线性关系和变量筛选结果等。

# 3、案例示例

案例：现对一批糖尿病患者进行分析，分别获得了年龄、性别、体重指数、平均⾎压等数据，现使用Lasso回归分析⼀年后疾病进展的测量值和重要影响变量。

# 4、案例数据


Lasso回归案例数据

# 5、案例操作


Step1：新建分析；
Step2：上传数据；
Step3：选择对应数据打开后进行预览，确认无误后点击开始分析；

step4：选择【Lasso回归】；
step5：查看对应的数据数据格式，【岭回归（Ridge）】要求自变量X至少一项或以上的定量变量或二分类定类变量，因变量Y要求为定量变量。
step6：选择自动选择λ值或者手动输入λ值；
step7：点击【开始分析】，完成全部操作。

# 6、输出结果分析

输出结果1：Lasso回归交叉验证图

图表说明：上图以可视化形式展示了使用交叉验证选择λ值的情况。
纵坐标：模型均方误差
横坐标：λ的对数值

智能分析：为使得均方误差最小确定 λ=0.02，log(λ)=-3.902.
分析：使用交叉验证的方法进行λ值的选择，选择的标准是使得模型均方误差最小，SPSSPRO自动给出了当均方误差最小的λ值，为0.02。

输出结果2：λ与模型回归系数图

图表说明：上图展示了随着λ的对数值变化，模型系数变化的情况。
分析：随着λ的对数值变化，模型系数也在变化，变为0的时候可以认为被排除出了模型。



图表说明：上表展示了模型系数情况，当模型中标准化变量系数为0时，代表这个变量被排除出模型。
智能分析：
Lasso回归的结果显示：
基于字段截距项、age、sex、bmi、bp、s1、s2、s3、s4、s5、s6的标准化系数，变量截距项、sex、bmi、bp、s1、s3、s4、s5、s6被保留，age、s2变量被删除。
模型的标准化公式： y=153.5280972752513-147.175 × sex+540.91 × bmi+293.23 × bp-163.672 × s1-86.997 × s3+117.192 × s4+522.358 × s5+56.935 × s6
模型的非标准化公式： y=153.62608212353206-10.179 × age-167.295 × sex+537.592 × bmi+304.195 × bp-516.213 × s1+264.693 × s2+58.721 × s3+174.151 × s4+651.58 × s5+61.04 × s6
分析：Lasso模型主要用于变量的筛选，筛选的标准是标准化系数是否为0，可以看到age、S2两个变量是不重要的，被排除出模型。

输出结果4：模型结果图

图表说明：上图展示了本次模型的原始数据图、模型拟合值、模型预测值。

输出结果5：模型结果预测

图表说明：上表格显示了经过Lasso回归后的模型预测情况。

# 7、注意事项

  • 一般会先对数据中心标准化，再进行LASSO回归的处理，SPSSPRO在运算时已经进行了标准化，故不需要再进行标准化。
  • Lasso回归主要用于变量的筛选，如果数据并没有共线性，依旧建议使用普通线性最小二乘法回归。 -LASSO使用L1正则化，岭回归使用L2正则化，L1可以让一部分特征的系数缩小到0，从而间接实现特征选择。所以L1适用于特征之间有关联的情况。L2让所有特征的系数都缩小，但是不会减为0，它会使优化求解稳定快速。所以L2适用于特征之间没有关联的情况。

# 8、模型理论

Lasso回归（Least Absolute Selection and Shrinkage Operator）是一种替代最小二乘法的压缩估计方法，全名为最小绝对值选择与收缩算子。假设数据{Xi,Yi},Xi={xi1,...,xim}T和Yi分别是第i个观测值对应的解释变量和相应变量。考虑线性回归模型：

在通常的回归结构中，假设观测值彼此独立，或者Yi在观测值给定的情况下独立，即Yi关于Xi条件独立，同时假设xij是标准化的，也就是，Lasso估计为：

这里t>=0,它是调和参数。此时对于一切t，有α的估计。不失一般性，假定，这样就省略了α。调和参数t的控制使得回归系数总体变小，若令就会使一些回归系数缩小并趋于0，一些系数甚至就会等于0。

# 9、参考文献

[1] Scientific Platform Serving for Statistics Professional 2021. SPSSPRO. (Version 1.0.11)[Online Application Software]. Retrieved from https://www.spsspro.com.
[2]柯郑林. Lasso及其相关方法在多元线性回归模型中的应用[D].北京交通大学,2011.