查看: 2680|回复: 0

使用 sklearn 进行岭回归

字体大小: 正常放大

1186 主题	4 听众	2922 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-15 16:39 |只看该作者 |正序浏览

|招呼Ta 关注Ta

岭回归是一种用于处理多重共线性数据的线性回归技术，它通过对系数施加惩罚来限制模型的复杂性。这个惩罚项是通过添加一个正则化参数（通常表示为 λ 或 alpha）与系数向量的 L2 范数的平方成比例来实现的。岭回归的优化目标是最小化残差平方和和正则化项之和。
下面是岭回归的关键特点：

1.正则化项：岭回归通过添加一个惩罚项来约束模型的系数，使其不要过大，从而避免过拟合。这个惩罚项由正则化参数控制，它越大，惩罚效果越强，系数越趋向于零。
2.解决多重共线性：当特征之间存在高度相关性时，普通的线性回归模型可能会变得不稳定，导致系数估计不准确。岭回归通过对系数的大小进行限制，能够更好地应对多重共线性问题。
3.超参数调优：岭回归有一个关键的超参数，即正则化参数（λ 或 alpha）。这个参数需要根据数据集进行调优，通常使用交叉验证来选择最佳的正则化参数，以在训练数据上获得最佳的模型性能。
4.稳定性：与普通的线性回归相比，岭回归对数据中的噪声更加稳健，能够产生更加稳定和可靠的系数估计。
5.不可解性：与普通的线性回归不同，岭回归没有封闭形式的解析解，需要使用数值优化方法来求解。

总的来说，岭回归是一种强大的线性回归技术，特别适用于处理高维数据集或存在多重共线性的数据。

这段代码执行了以下操作：

1.导入所需库：

import numpy as np3 k' f: E' ^( L3 I
import pandas as pd! |1 g) ]$ d; m& E6 I
from sklearn.linear_model import LogisticRegression

复制代码

2.定义源数据：

df = pd.DataFrame({9 s& Y' F\" h* ]6 Q
'good': [1, 1, 0, 0, 0, 1, 1],
\" W6 b7 }5 O8 ?) q
'sweet': [.95, .76, .82, .57, .69, .77, .89],
) y8 k& ^2 o( O% y4 c8 y1 F# X; o
'density': [.876, .978, .691, .745, .512, .856, 1.297],
% @$ Y7 g0 B! Z' C8 j2 ~3 l, d
'volume': [1.85, 2.14, 1.34, 1.38, 0.67, 2.35, 1.69],: x O( r$ M* B0 n
'quality': [2.51, 2.45, 1.34, 1.15, 1.23, 3.95, 2.67],
6 v2 R4 W) {2 |0 |$ k& u
})

复制代码

创建了一个包含特征和标签的 DataFrame，其中 good 列是标签，表示样本是否好。

3.将数据转换为数组格式：

X = np.array(df[df.columns[1:]]) # 特征集, p- D9 J+ ?$ h/ T& H8 w- @
y = np.array(df['good']) # 标签集

复制代码

4.建立逻辑回归模型并拟合数据：

model = LogisticRegression()
7 R9 y- C8 R+ H, v8 n0 g
model.fit(X, y)

复制代码

使用 LogisticRegression 创建了逻辑回归模型，并使用 fit() 方法拟合了数据。

5.提取模型参数：

b0 = model.intercept_[0] # 截距
9 W4 I `\" @( K: k6 {) B2 T3 F
b1, b2, b3, b4 = model.coef_[0][0], model.coef_[0][1], model.coef_[0][2], model.coef_[0][3] # 系数

复制代码

6.进行预测：