使用 sklearn 进行岭回归

2744557306

岭回归是一种用于处理多重共线性数据的线性回归技术，它通过对系数施加惩罚来限制模型的复杂性。这个惩罚项是通过添加一个正则化参数（通常表示为 λ 或 alpha）与系数向量的 L2 范数的平方成比例来实现的。岭回归的优化目标是最小化残差平方和和正则化项之和。
1 Z* b& Z& v0 ?, U# Z下面是岭回归的关键特点：
7 e0 X+ K9 ]2 p9 z7 e" C- x
) c( ?" n6 o) ~: }: k2 D5 j4 O1.正则化项： 岭回归通过添加一个惩罚项来约束模型的系数，使其不要过大，从而避免过拟合。这个惩罚项由正则化参数控制，它越大，惩罚效果越强，系数越趋向于零。
& C  ^( [  i7 C9 B- D2.解决多重共线性： 当特征之间存在高度相关性时，普通的线性回归模型可能会变得不稳定，导致系数估计不准确。岭回归通过对系数的大小进行限制，能够更好地应对多重共线性问题。
& h# i* X' [  G  r$ M. c3.超参数调优： 岭回归有一个关键的超参数，即正则化参数（λ 或 alpha）。这个参数需要根据数据集进行调优，通常使用交叉验证来选择最佳的正则化参数，以在训练数据上获得最佳的模型性能。
6 [! q: F2 R  k( [4 O. G, F7 l4.稳定性： 与普通的线性回归相比，岭回归对数据中的噪声更加稳健，能够产生更加稳定和可靠的系数估计。
; Z8 V, ^6 i" b: }% f9 g2 h6 T5.不可解性： 与普通的线性回归不同，岭回归没有封闭形式的解析解，需要使用数值优化方法来求解。

$ G- M" X$ ]# I+ [4 O总的来说，岭回归是一种强大的线性回归技术，特别适用于处理高维数据集或存在多重共线性的数据。


这段代码执行了以下操作：

, n& ~/ H+ G9 g9 p( a7 \1.导入所需库：

1.    import numpy as np/ _8 C$ G& w% @4 A% t: P2 ~6 Y
   
2.    import pandas as pd
   * W- r% s, q7 y  x0 ^, ]
3.    from sklearn.linear_model import LogisticRegression

复制代码

2.定义源数据：

1.    df = pd.DataFrame({
   ' O. Z! N) r3 G# e% U8 u, ]
2.        'good': [1, 1, 0, 0, 0, 1, 1],
   0 @\" S4 b2 E5 D& B2 c
3.        'sweet': [.95, .76, .82, .57, .69, .77, .89],
   6 z9 R9 I% U7 h! e
4.        'density': [.876, .978, .691, .745, .512, .856, 1.297],9 c. w3 r$ \7 @4 ]) V
   
5.        'volume': [1.85, 2.14, 1.34, 1.38, 0.67, 2.35, 1.69],! W1 k4 ~; h  h2 n\" c  [\" P* H* K
   
6.        'quality': [2.51, 2.45, 1.34, 1.15, 1.23, 3.95, 2.67],. R5 v! X- e* O3 w/ T: J, W( O5 @* g& y
   
7.    })

复制代码

创建了一个包含特征和标签的 DataFrame，其中 good 列是标签，表示样本是否好。
0 D. ?. |5 o. Z
2 `* t& ?9 p6 N/ E3.将数据转换为数组格式：

1.    X = np.array(df[df.columns[1:]])  # 特征集& k' w  p( @3 u4 h4 v* P* Q
   
2.    y = np.array(df['good'])           # 标签集

复制代码

4.建立逻辑回归模型并拟合数据：

1.    model = LogisticRegression()( d2 d  P- H) f, h/ U: {4 D
   
2.    model.fit(X, y)

复制代码

使用 LogisticRegression 创建了逻辑回归模型，并使用 fit() 方法拟合了数据。

5.提取模型参数：

1.    b0 = model.intercept_[0]  # 截距* J. V0 \! O0 w8 F+ s0 d5 p5 B  p\" E
   
2.    b1, b2, b3, b4 = model.coef_[0][0], model.coef_[0][1], model.coef_[0][2], model.coef_[0][3]  # 系数

复制代码

6.进行预测：

1.    df2 = pd.DataFrame({! [1 z5 y8 ^4 V. H8 F9 {+ }
   
2.        'sweet': [.5, 1],) z! ?% G  o# ~! ~- \* C1 s! j
   
3.        'density': [.5, 1],% i7 G' n) E! S8 r7 K# m
   
4.        'volume': [.5, 2],& q9 o' m- \# C2 j\" @: I7 l
   
5.        'quality': [.5, 2],. @\" _, \: E- P5 H, F; T. g& R! H
   
6.    })5 [2 U7 l: g- z( k
   
7.    model.predict(np.array(df2))

复制代码

使用训练好的模型进行预测，预测了两个新样本的好坏标签。
% M5 D' T! ~+ A+ u: S通过这段代码，你可以使用逻辑回归模型对给定的数据进行分类，并进行新样本的预测。
4 S) z2 h5 S9 R! f# [0 [$ u% U$ s) \
$ S( E; `- `3 Z9 j, n0 f" r