QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 2743|回复: 0
打印 上一主题 下一主题

使用 sklearn 进行岭回归

[复制链接]
字体大小: 正常 放大

1189

主题

4

听众

2934

积分

该用户从未签到

跳转到指定楼层
1#
发表于 2024-3-15 16:39 |只看该作者 |倒序浏览
|招呼Ta 关注Ta
岭回归是一种用于处理多重共线性数据的线性回归技术,它通过对系数施加惩罚来限制模型的复杂性。这个惩罚项是通过添加一个正则化参数(通常表示为 λ 或 alpha)与系数向量的 L2 范数的平方成比例来实现的。岭回归的优化目标是最小化残差平方和和正则化项之和。
4 g& g8 j" S9 }( i9 }1 r" y下面是岭回归的关键特点:% C. }& {1 O) Q- Z. X
  C/ P2 X3 k* @9 O5 {, n
1.正则化项: 岭回归通过添加一个惩罚项来约束模型的系数,使其不要过大,从而避免过拟合。这个惩罚项由正则化参数控制,它越大,惩罚效果越强,系数越趋向于零。* y1 @# F. _$ c3 [5 R( [; ?! o' A
2.解决多重共线性: 当特征之间存在高度相关性时,普通的线性回归模型可能会变得不稳定,导致系数估计不准确。岭回归通过对系数的大小进行限制,能够更好地应对多重共线性问题。
1 ]' h/ t% m! `5 _* d. x3.超参数调优: 岭回归有一个关键的超参数,即正则化参数(λ 或 alpha)。这个参数需要根据数据集进行调优,通常使用交叉验证来选择最佳的正则化参数,以在训练数据上获得最佳的模型性能。  e" V0 n( D, }# [% ~3 E
4.稳定性: 与普通的线性回归相比,岭回归对数据中的噪声更加稳健,能够产生更加稳定和可靠的系数估计。
% R8 q) e$ t- ]# G* P5.不可解性: 与普通的线性回归不同,岭回归没有封闭形式的解析解,需要使用数值优化方法来求解。7 ]7 l% c( F: w) t, W' X  h
: N3 X3 V' i" Y5 ]* U4 A
总的来说,岭回归是一种强大的线性回归技术,特别适用于处理高维数据集或存在多重共线性的数据。
$ ?* l* T9 i( ]) Y7 ?8 D! T0 `9 p1 _  K0 e. D) `3 i

' {$ L; r1 C: M3 }7 ^. h' \$ o这段代码执行了以下操作:5 |/ H5 ^9 k' L7 U% _/ D
  K' [. v7 T& ~- a: h  z. b
1.导入所需库:
  1.    import numpy as np' Y\" V4 k\" E5 D; c
  2.    import pandas as pd
    5 V0 m\" a4 z: U! ~0 f& F' d
  3.    from sklearn.linear_model import LogisticRegression
复制代码
2.定义源数据:
  1.    df = pd.DataFrame({9 Q2 J2 w: _* ^* y( H; Q5 Y
  2.        'good': [1, 1, 0, 0, 0, 1, 1],% M\" ]! k6 P5 Q& U( z! m  J' K9 C
  3.        'sweet': [.95, .76, .82, .57, .69, .77, .89],# Z, _) u1 r) {6 g, T: r3 ?
  4.        'density': [.876, .978, .691, .745, .512, .856, 1.297],1 l, ^, C$ W3 Z* |# V\" F! m
  5.        'volume': [1.85, 2.14, 1.34, 1.38, 0.67, 2.35, 1.69],/ I2 @* [; \. v
  6.        'quality': [2.51, 2.45, 1.34, 1.15, 1.23, 3.95, 2.67],
    - e; T! C\" x$ C) H0 v3 O
  7.    })
复制代码
创建了一个包含特征和标签的 DataFrame,其中 good 列是标签,表示样本是否好。
, m9 O- m  h! Q  E" X& A  T: h" m8 P+ o& ~$ M6 K# E
3.将数据转换为数组格式:
  1.    X = np.array(df[df.columns[1:]])  # 特征集
    # T) J4 M! v: G6 X8 a1 Q/ e: z
  2.    y = np.array(df['good'])           # 标签集
复制代码
4.建立逻辑回归模型并拟合数据:
  1.    model = LogisticRegression()6 I/ `; f  P2 ~% x: T# O
  2.    model.fit(X, y)
复制代码
使用 LogisticRegression 创建了逻辑回归模型,并使用 fit() 方法拟合了数据。
& r9 Q5 U- J" U" z* {8 _) |. l% n" }+ m
5.提取模型参数:
  1.    b0 = model.intercept_[0]  # 截距
    2 j- t8 {4 X( l, N. v6 P
  2.    b1, b2, b3, b4 = model.coef_[0][0], model.coef_[0][1], model.coef_[0][2], model.coef_[0][3]  # 系数
复制代码
6.进行预测:
  1.    df2 = pd.DataFrame({2 [* v0 V8 I9 S
  2.        'sweet': [.5, 1],/ k& B% |* r2 L7 y0 n% X9 G3 G
  3.        'density': [.5, 1],4 j+ ?7 ~\" Q. `
  4.        'volume': [.5, 2],5 g5 R' v4 D\" D& h7 {' W
  5.        'quality': [.5, 2],% H+ U2 z( e% F/ v
  6.    })3 L, l( h0 k$ ]& A
  7.    model.predict(np.array(df2))
复制代码
使用训练好的模型进行预测,预测了两个新样本的好坏标签。
6 a/ J4 r  K& g8 D7 {  t通过这段代码,你可以使用逻辑回归模型对给定的数据进行分类,并进行新样本的预测。8 K- U7 j6 @. D( y" J% D% D
, m+ v5 A- |# E; a5 E" [

+ ^6 ~; F/ {% t5 t

12.logit_regression.py

1009 Bytes, 下载次数: 0, 下载积分: 体力 -2 点

售价: 2 点体力  [记录]  [购买]

zan
转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
您需要登录后才可以回帖 登录 | 注册地址

qq
收缩
  • 电话咨询

  • 04714969085
fastpost

关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

手机版|Archiver| |繁體中文 手机客户端  

蒙公网安备 15010502000194号

Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

GMT+8, 2026-6-20 22:43 , Processed in 0.431095 second(s), 55 queries .

回顶部