数学建模社区-数学中国

标题: 使用 sklearn 进行岭回归 [打印本页]

---

作者: 2744557306    时间: 2024-3-15 16:39
标题: 使用 sklearn 进行岭回归
岭回归是一种用于处理多重共线性数据的线性回归技术，它通过对系数施加惩罚来限制模型的复杂性。这个惩罚项是通过添加一个正则化参数（通常表示为 λ 或 alpha）与系数向量的 L2 范数的平方成比例来实现的。岭回归的优化目标是最小化残差平方和和正则化项之和。
下面是岭回归的关键特点：
! n$ y, P2 @7 ~- n) S
1 Y" L/ p4 W. h, W1.正则化项： 岭回归通过添加一个惩罚项来约束模型的系数，使其不要过大，从而避免过拟合。这个惩罚项由正则化参数控制，它越大，惩罚效果越强，系数越趋向于零。
: s9 N' l/ p' T: y2.解决多重共线性： 当特征之间存在高度相关性时，普通的线性回归模型可能会变得不稳定，导致系数估计不准确。岭回归通过对系数的大小进行限制，能够更好地应对多重共线性问题。
: ]" w9 Z0 D7 f# i# q3.超参数调优： 岭回归有一个关键的超参数，即正则化参数（λ 或 alpha）。这个参数需要根据数据集进行调优，通常使用交叉验证来选择最佳的正则化参数，以在训练数据上获得最佳的模型性能。
8 t/ c8 f- O, i9 [0 u* |4.稳定性： 与普通的线性回归相比，岭回归对数据中的噪声更加稳健，能够产生更加稳定和可靠的系数估计。
2 `7 K# c4 |- E3 _* ^3 ]( ^: F5.不可解性： 与普通的线性回归不同，岭回归没有封闭形式的解析解，需要使用数值优化方法来求解。
. L  f; @) v# r; X3 g' y5 v
7 I  \6 G2 J8 N% w9 ~总的来说，岭回归是一种强大的线性回归技术，特别适用于处理高维数据集或存在多重共线性的数据。

# l* f4 X/ w) }3 Q4 J
这段代码执行了以下操作：

: I5 g5 z: {- P: t) ~1.导入所需库：

1.    import numpy as np
   4 I+ V+ \* w! Q" H6 L- Z
2.    import pandas as pd
   ( v0 [7 b$ a( {0 y
3.    from sklearn.linear_model import LogisticRegression

复制代码

2.定义源数据：

1.    df = pd.DataFrame({
   
2.        'good': [1, 1, 0, 0, 0, 1, 1],
   . Z/ j7 Q0 z8 m2 o4 g* E  y, @- q+ A% k
3.        'sweet': [.95, .76, .82, .57, .69, .77, .89],
   ) c5 i0 j5 @9 B
4.        'density': [.876, .978, .691, .745, .512, .856, 1.297],
   # Y/ a0 D1 @. F
5.        'volume': [1.85, 2.14, 1.34, 1.38, 0.67, 2.35, 1.69],
   % ^( b* G4 w: Q0 b( h; f( n
6.        'quality': [2.51, 2.45, 1.34, 1.15, 1.23, 3.95, 2.67],
   : T9 k* \$ L% r# W! ?
7.    })

复制代码

创建了一个包含特征和标签的 DataFrame，其中 good 列是标签，表示样本是否好。

6 x* d/ \( G, M  T% G  C3.将数据转换为数组格式：

1.    X = np.array(df[df.columns[1:]])  # 特征集
   
2.    y = np.array(df['good'])           # 标签集

复制代码

4.建立逻辑回归模型并拟合数据：

1.    model = LogisticRegression()
   5 A6 @5 ]1 r: t2 Z; ?6 N
2.    model.fit(X, y)

复制代码

使用 LogisticRegression 创建了逻辑回归模型，并使用 fit() 方法拟合了数据。
( i! k& y/ j" c$ s
5.提取模型参数：

1.    b0 = model.intercept_[0]  # 截距
   0 Z7 Q& D4 o" F" Z, n) j9 m
2.    b1, b2, b3, b4 = model.coef_[0][0], model.coef_[0][1], model.coef_[0][2], model.coef_[0][3]  # 系数

复制代码

6.进行预测：

1.    df2 = pd.DataFrame({
   / ]# v0 N% j1 M* p
2.        'sweet': [.5, 1],
   $ b+ F$ E, Z; m7 _' ~0 _/ x
3.        'density': [.5, 1],
   
4.        'volume': [.5, 2],
   " U- B6 [1 v; n4 }+ u8 _& r! P
5.        'quality': [.5, 2],
   " Z/ R" m/ H* U6 Q+ e5 o. p, `5 |
6.    })
   9 q( U; e0 z0 J1 u0 r
7.    model.predict(np.array(df2))

复制代码

使用训练好的模型进行预测，预测了两个新样本的好坏标签。
通过这段代码，你可以使用逻辑回归模型对给定的数据进行分类，并进行新样本的预测。
8 B5 q8 H  X3 r2 b

* ]+ L8 w* \3 j. @3 n- g

12.logit_regression.py

2024-3-15 16:38 上传

点击文件名下载附件

下载积分: 体力 -2 点

1009 Bytes, 下载次数: 0, 下载积分: 体力 -2 点

售价: 2 点体力  [记录]  [购买]

---

欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)

Powered by Discuz! X2.5