在线时间 480 小时 最后登录 2026-6-1 注册时间 2023-7-11 听众数 4 收听数 0 能力 0 分 体力 7823 点 威望 0 点 阅读权限 255 积分 2934 相册 0 日志 0 记录 0 帖子 1174 主题 1189 精华 0 分享 0 好友 1
该用户从未签到
岭回归是一种用于处理多重共线性数据的线性回归技术,它通过对系数施加惩罚来限制模型的复杂性。这个惩罚项是通过添加一个正则化参数(通常表示为 λ 或 alpha)与系数向量的 L2 范数的平方成比例来实现的。岭回归的优化目标是最小化残差平方和和正则化项之和。
$ ~+ j& S* D! o/ b$ A 下面是岭回归的关键特点:
! C( Z; B& p; |% H
' R, K- A" J1 T 1.正则化项: 岭回归通过添加一个惩罚项来约束模型的系数,使其不要过大,从而避免过拟合。这个惩罚项由正则化参数控制,它越大,惩罚效果越强,系数越趋向于零。
A; r# Y/ e, p 2.解决多重共线性: 当特征之间存在高度相关性时,普通的线性回归模型可能会变得不稳定,导致系数估计不准确。岭回归通过对系数的大小进行限制,能够更好地应对多重共线性问题。
+ P: m1 @8 J$ o9 G 3.超参数调优: 岭回归有一个关键的超参数,即正则化参数(λ 或 alpha)。这个参数需要根据数据集进行调优,通常使用交叉验证来选择最佳的正则化参数,以在训练数据上获得最佳的模型性能。% V% g3 [: h! g' N
4.稳定性: 与普通的线性回归相比,岭回归对数据中的噪声更加稳健,能够产生更加稳定和可靠的系数估计。
+ o/ L9 C! k& R6 k4 o% T 5.不可解性: 与普通的线性回归不同,岭回归没有封闭形式的解析解,需要使用数值优化方法来求解。( a% n: A- D+ _
( P g3 J* A: q; T S 总的来说,岭回归是一种强大的线性回归技术,特别适用于处理高维数据集或存在多重共线性的数据。
9 G& `0 [2 B j' |# e }4 x
' |2 @6 V5 z7 u( s. q3 B7 p b 5 V( s* @; j* T( w
这段代码执行了以下操作:% J% h# X: L- i
- [7 l- ]) T0 Q9 I/ s+ z 1.导入所需库: import numpy as np
/ U1 O\" x. n( e% S' e import pandas as pd5 F1 x\" u/ S* ]! s5 E7 s* X) a v
from sklearn.linear_model import LogisticRegression 复制代码 2.定义源数据: df = pd.DataFrame({
! k8 B7 c! t8 _2 K 'good': [1, 1, 0, 0, 0, 1, 1],1 F; Z& I% o\" {+ R/ I! B7 w4 e
'sweet': [.95, .76, .82, .57, .69, .77, .89],
9 _0 j) @; s5 i- R ]2 O! C 'density': [.876, .978, .691, .745, .512, .856, 1.297],\" A, z; r( L5 j
'volume': [1.85, 2.14, 1.34, 1.38, 0.67, 2.35, 1.69],* _% K* R5 @7 c& q
'quality': [2.51, 2.45, 1.34, 1.15, 1.23, 3.95, 2.67],
- A- z9 |; Q0 D5 ^) q }) 复制代码 创建了一个包含特征和标签的 DataFrame,其中 good 列是标签,表示样本是否好。
2 l% C' Y' h' B; \/ k8 D
3 m* s' ] T: F& y" o+ W 3.将数据转换为数组格式: X = np.array(df[df.columns[1:]]) # 特征集
& v3 h6 M1 W2 W5 W\" U' @5 o y = np.array(df['good']) # 标签集 复制代码 4.建立逻辑回归模型并拟合数据: model = LogisticRegression()
3 Q. Z2 v3 u6 Q' T$ L model.fit(X, y) 复制代码 使用 LogisticRegression 创建了逻辑回归模型,并使用 fit() 方法拟合了数据。
f+ Y8 O9 h4 q7 ? 2 l/ s5 r6 n# ?
5.提取模型参数: b0 = model.intercept_[0] # 截距
: ]4 @( A+ i6 ?0 K4 ]+ | Z/ J b1, b2, b3, b4 = model.coef_[0][0], model.coef_[0][1], model.coef_[0][2], model.coef_[0][3] # 系数 复制代码 6.进行预测: df2 = pd.DataFrame({$ U+ c\" x! T- L! W
'sweet': [.5, 1],+ \$ Y3 l) ~2 X7 Z e+ T
'density': [.5, 1],6 m$ f. S I' |$ @+ [+ _
'volume': [.5, 2],& Q$ m( |# R9 R- x4 Z
'quality': [.5, 2],0 `# p1 `9 M! c0 K
})! Z\" l; U, Y' {5 t
model.predict(np.array(df2)) 复制代码 使用训练好的模型进行预测,预测了两个新样本的好坏标签。
, `7 R6 v7 Z% ~ 通过这段代码,你可以使用逻辑回归模型对给定的数据进行分类,并进行新样本的预测。
& h5 R' a+ \3 b* S : k/ y* ]5 P& {$ J" X. f5 h
% q* @2 N) W$ ` N% w
zan