数学建模社区-数学中国

标题: 使用 sklearn 进行岭回归 [打印本页]
作者: 2744557306    时间: 2024-3-15 16:39
标题: 使用 sklearn 进行岭回归
岭回归是一种用于处理多重共线性数据的线性回归技术，它通过对系数施加惩罚来限制模型的复杂性。这个惩罚项是通过添加一个正则化参数（通常表示为 λ 或 alpha）与系数向量的 L2 范数的平方成比例来实现的。岭回归的优化目标是最小化残差平方和和正则化项之和。
' A7 Q5 @/ Z0 ^* H- a下面是岭回归的关键特点：
0 Q  S4 `; M8 b9 B1 _5 x
9 G. ], \9 T$ z1 B8 U+ j1.正则化项： 岭回归通过添加一个惩罚项来约束模型的系数，使其不要过大，从而避免过拟合。这个惩罚项由正则化参数控制，它越大，惩罚效果越强，系数越趋向于零。. f+ M" E7 j& ?6 q+ a
2.解决多重共线性： 当特征之间存在高度相关性时，普通的线性回归模型可能会变得不稳定，导致系数估计不准确。岭回归通过对系数的大小进行限制，能够更好地应对多重共线性问题。
' ]4 w5 h0 [# R' b7 F3.超参数调优： 岭回归有一个关键的超参数，即正则化参数（λ 或 alpha）。这个参数需要根据数据集进行调优，通常使用交叉验证来选择最佳的正则化参数，以在训练数据上获得最佳的模型性能。
3 a4 `& w3 U# f3 p/ p5 ~/ Q4 u4.稳定性： 与普通的线性回归相比，岭回归对数据中的噪声更加稳健，能够产生更加稳定和可靠的系数估计。6 f3 b9 H: \. L% A
5.不可解性： 与普通的线性回归不同，岭回归没有封闭形式的解析解，需要使用数值优化方法来求解。
/ @# x& I1 Z! q: _, F
7 I# i! @# H) K总的来说，岭回归是一种强大的线性回归技术，特别适用于处理高维数据集或存在多重共线性的数据。# \- _8 B6 X' g1 P

3 ?" {& K: T% n# X+ K0 ~' ^2 i' q
, C3 Z4 d9 I  W$ R+ M5 H- r+ c; O# ^这段代码执行了以下操作：! W" z4 c( u. L$ w4 T
& z( J6 j0 E/ Z) E1 o9 U9 H
1.导入所需库：
  1.    import numpy as np: B2 B: ~# t9 X8 D8 w
  2.    import pandas as pd/ A+ B8 l* r( X" [
  3.    from sklearn.linear_model import LogisticRegression
复制代码
2.定义源数据：
  1.    df = pd.DataFrame({" B" R# T: o1 v# V3 |1 ~& i% z# i
  2.        'good': [1, 1, 0, 0, 0, 1, 1],2 v( c; _2 g7 S# h/ l6 R/ o
  3.        'sweet': [.95, .76, .82, .57, .69, .77, .89],8 q' d% \1 w1 L
  4.        'density': [.876, .978, .691, .745, .512, .856, 1.297],
    4 m1 w( k. K+ m; c3 i3 V3 [: j* t
  5.        'volume': [1.85, 2.14, 1.34, 1.38, 0.67, 2.35, 1.69],6 g) }" s, O: J2 e" ?- z6 W  n
  6.        'quality': [2.51, 2.45, 1.34, 1.15, 1.23, 3.95, 2.67],
      e( G9 u  ~& O
  7.    })
复制代码
创建了一个包含特征和标签的 DataFrame，其中 good 列是标签，表示样本是否好。
2 C- c4 M( o# \2 e6 I( O# S
$ M# y5 r' v- _5 U- q2 Q3.将数据转换为数组格式：
  1.    X = np.array(df[df.columns[1:]])  # 特征集7 r: U8 ~$ g7 C- D- I. s, k- l& l
  2.    y = np.array(df['good'])           # 标签集
复制代码
4.建立逻辑回归模型并拟合数据：
  1.    model = LogisticRegression()* m5 ~$ t- k  w% |  T
  2.    model.fit(X, y)
复制代码
使用 LogisticRegression 创建了逻辑回归模型，并使用 fit() 方法拟合了数据。
. c( V0 C% |2 K9 }  _' t) h
9 J% O2 u4 q6 W1 d, O5.提取模型参数：
  1.    b0 = model.intercept_[0]  # 截距
    & x" d9 p7 |3 V1 T+ e
  2.    b1, b2, b3, b4 = model.coef_[0][0], model.coef_[0][1], model.coef_[0][2], model.coef_[0][3]  # 系数
复制代码
6.进行预测：
  1.    df2 = pd.DataFrame({  e8 w) m) i$ H) _! X
  2.        'sweet': [.5, 1],' b9 |  g8 Z7 H3 ^& t5 M. {9 p
  3.        'density': [.5, 1],0 m6 V) b% Z* y& T( o5 }: W. J
  4.        'volume': [.5, 2],9 ]% x" f% w. ?) _/ Y1 `: \- g
  5.        'quality': [.5, 2],0 a' `0 l1 I7 s. n4 Y# V: w8 s) E# S
  6.    })1 K  r4 I( d* C3 w
  7.    model.predict(np.array(df2))
复制代码
使用训练好的模型进行预测，预测了两个新样本的好坏标签。- _' q9 j. L, |  ?
通过这段代码，你可以使用逻辑回归模型对给定的数据进行分类，并进行新样本的预测。, s& p. e3 O/ c
' Z& \' E6 A: K+ h- F" H8 P

4 e, n$ a2 l+ W/ a

12.logit_regression.py

1009 Bytes, 下载次数: 0, 下载积分: 体力 -2 点

售价: 2 点体力  [记录]  [购买]





欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5