- 在线时间
- 480 小时
- 最后登录
- 2026-6-1
- 注册时间
- 2023-7-11
- 听众数
- 4
- 收听数
- 0
- 能力
- 0 分
- 体力
- 7823 点
- 威望
- 0 点
- 阅读权限
- 255
- 积分
- 2934
- 相册
- 0
- 日志
- 0
- 记录
- 0
- 帖子
- 1174
- 主题
- 1189
- 精华
- 0
- 分享
- 0
- 好友
- 1
该用户从未签到
 |
岭回归是一种用于处理多重共线性数据的线性回归技术,它通过对系数施加惩罚来限制模型的复杂性。这个惩罚项是通过添加一个正则化参数(通常表示为 λ 或 alpha)与系数向量的 L2 范数的平方成比例来实现的。岭回归的优化目标是最小化残差平方和和正则化项之和。: a1 l: a/ A$ V) v( S4 ?: \% Z \
下面是岭回归的关键特点:2 T3 D3 c" w A# \% s6 j; z
+ c! W R8 d0 C' t! }( M! W1.正则化项: 岭回归通过添加一个惩罚项来约束模型的系数,使其不要过大,从而避免过拟合。这个惩罚项由正则化参数控制,它越大,惩罚效果越强,系数越趋向于零。% Y1 _. x2 Z V0 s
2.解决多重共线性: 当特征之间存在高度相关性时,普通的线性回归模型可能会变得不稳定,导致系数估计不准确。岭回归通过对系数的大小进行限制,能够更好地应对多重共线性问题。
8 X1 @9 L8 e/ F9 ~ E9 r4 |; N3.超参数调优: 岭回归有一个关键的超参数,即正则化参数(λ 或 alpha)。这个参数需要根据数据集进行调优,通常使用交叉验证来选择最佳的正则化参数,以在训练数据上获得最佳的模型性能。& G' d: ~: |! f) r- _
4.稳定性: 与普通的线性回归相比,岭回归对数据中的噪声更加稳健,能够产生更加稳定和可靠的系数估计。$ b m2 H5 O) e' ]) I0 k
5.不可解性: 与普通的线性回归不同,岭回归没有封闭形式的解析解,需要使用数值优化方法来求解。
4 L/ a2 w& ~4 l6 F6 _! F/ z; g1 I- O/ K" ]1 V" ]
总的来说,岭回归是一种强大的线性回归技术,特别适用于处理高维数据集或存在多重共线性的数据。% D. m. g+ [0 u8 A2 a0 `) `
* {& @# s' x' e6 B9 l, j
* u# Z$ @& K" x, Q( T% w% b9 x* K这段代码执行了以下操作:* b3 F6 v- P: X, {" q
3 l6 v+ j# q/ M3 f' ]1 }
1.导入所需库:- import numpy as np, [. ]7 v* p) |8 }
- import pandas as pd
) s9 k, d- ~: K5 B% G0 ]8 T - from sklearn.linear_model import LogisticRegression
复制代码 2.定义源数据:- df = pd.DataFrame({8 V( ] W4 V: [% I
- 'good': [1, 1, 0, 0, 0, 1, 1],4 I* a) e2 n, U
- 'sweet': [.95, .76, .82, .57, .69, .77, .89],
6 n# }( t1 L) g3 D; }- Q3 z - 'density': [.876, .978, .691, .745, .512, .856, 1.297],
u7 G }. s; B3 A9 l7 k3 O - 'volume': [1.85, 2.14, 1.34, 1.38, 0.67, 2.35, 1.69],! R7 ^\" y) \7 r
- 'quality': [2.51, 2.45, 1.34, 1.15, 1.23, 3.95, 2.67],/ B$ b* h: T0 Y+ ~9 L
- })
复制代码 创建了一个包含特征和标签的 DataFrame,其中 good 列是标签,表示样本是否好。, a* m2 `% d5 ^/ Y. E) L- I
1 A* e+ x! F# b! A) y/ z3.将数据转换为数组格式:- X = np.array(df[df.columns[1:]]) # 特征集
# Q# ]' H6 m$ J9 E - y = np.array(df['good']) # 标签集
复制代码 4.建立逻辑回归模型并拟合数据:- model = LogisticRegression()
- Z3 Z# B( G0 A7 B5 b - model.fit(X, y)
复制代码 使用 LogisticRegression 创建了逻辑回归模型,并使用 fit() 方法拟合了数据。% t7 T i7 J- r" c; U% t. }8 x
9 l+ ?3 O; E0 q( K9 E# X5.提取模型参数:- b0 = model.intercept_[0] # 截距
$ W w+ q( X% y - b1, b2, b3, b4 = model.coef_[0][0], model.coef_[0][1], model.coef_[0][2], model.coef_[0][3] # 系数
复制代码 6.进行预测:- df2 = pd.DataFrame({
; H ? w* o: y8 ]\" {. N - 'sweet': [.5, 1],9 b9 I0 _% w; z
- 'density': [.5, 1],
7 s# a! C U4 `+ { - 'volume': [.5, 2],
( L6 B( R3 h+ L\" k3 r: W* F - 'quality': [.5, 2],\" E6 U4 U# |4 m7 X# c: F& R A
- })
, J0 x+ R\" B. g' _) l$ u - model.predict(np.array(df2))
复制代码 使用训练好的模型进行预测,预测了两个新样本的好坏标签。
% a. x5 }( W& D" I! g: f; a通过这段代码,你可以使用逻辑回归模型对给定的数据进行分类,并进行新样本的预测。
6 V5 f! [3 d/ W& o# K& L0 W. b: V0 U9 M% D* p0 H0 G" A
) ]1 i, W0 q0 f |
zan
|