岭回归

2744557306

代码执行了以下操作：
6 p  F) z5 a0 H1 y+ Z: J6 I
. {8 j- }- }: I" D  y1.导入所需库：

1.    import numpy as np5 n6 {. ^6 n\" P/ P
   
2. 3 W! b4 m, F, M
   
3.    import pandas as pd
   ) B7 S& G6 R' v
4. 
   5 ~# Y, c; M: W  X: t: [
5.    import matplotlib.pyplot as plt
   8 U1 w2 T1 Q* O
6. 
   - F2 {, j8 V  L$ \  n
7.    from sklearn.linear_model import Ridge, RidgeCV

复制代码

2.定义源数据：

1.    df = pd.DataFrame({9 X  p! Y# p! e
   
2. 
   # a) G, y5 Z( d( [! \: |
3.        'x1': [7, 1, 11, 11, 7, 11, 3],
   ) o% w1 Z, I2 W# G7 Z
4. 
   : q7 V9 C( C  I% E
5.        'x2': [26, 29, 56, 31, 52, 55, 71],; V8 q& R1 s1 m; v& \+ m
   
6. 
   / k5 }' _6 i2 E) C& U$ l
7.        'y': [78.5, 74.3, 104.3, 87.6, 95.9, 109.2, 102.7],
     o* q3 y5 q8 l4 [: B
8. 
   7 J: K6 @/ i9 W, g' C. m; [8 H
9.    })

复制代码

创建了一个包含两个自变量（x1 和 x2）和一个因变量（y）的 DataFrame。

3.将数据转换为数组格式：

1.    X = np.array(df[['x1', 'x2']])  # 特征集( y7 l5 D* E& u! h0 k5 a
   
2. 4 f, L# {2 c\" n0 c+ g4 G' t. o( P! g4 [
   
3.    y = np.array(df[['y']])          # 目标集

复制代码

4.遍历不同的正则化参数 ( k )：

1.    k_array = np.logspace(-4, 1.5, 100)
   8 {1 X; |6 @# i2 Z+ q\" p  K- I
2. ) ]* e3 E' n. T* }, q5 x+ K
   
3.    x1_list, x2_list = [], []( A, j0 r& l; {0 m7 j1 c. t. G
   
4. 9 l& @. }. _7 }: w6 v& m\" R% Q
   
5.    for k in k_array:2 o% K/ E7 h* e, g! o8 s7 B
   
6. % Q% w. P2 P: i\" _& ^
   
7.        model = Ridge(alpha=k).fit(X, y)
   / b# S% A! B3 L+ \; d  D
8. 
   9 j+ U3 C: x/ p
9.        x1_list.append(model.coef_[0][0])! A) C+ q- R$ u
   
10.   l\" z; X- j4 v/ y
    
11.        x2_list.append(model.coef_[0][1])

复制代码

遍历了一系列正则化参数 ( k )，对每个参数值使用 Ridge 回归模型拟合数据，并将得到的系数存储到 x1_list 和 x2_list 中。

5.绘制岭迹图：

2.    plt.scatter(k_array, x1_list)
   
3. 3 N1 e+ z) [\\" Y( z
4. ' p5 Z3 N/ s$ a
   
6.    plt.scatter(k_array, x2_list)
   
7. ! P* {' j5 C: E$ S6 V\\" C
8. * K' j) l0 |  v; _. R
   
10.    plt.plot(k_array, x1_list, label='x1')
    
11. , G$ [: a\\" w8 m
12. 
    
13. 9 s/ y- T3 X! I
14.    plt.plot(k_array, x2_list, label='x2')) @0 ]! J+ H# b$ i2 w4 d
    
16. 
    
17. 0 m8 ~1 X& h: k3 `1 {/ ^
18.    plt.legend()

   plt.scatter(k_array, x1_list)<br /> <span style=\\"display:none\\">3 N1 e+ z) [\\" Y( z</span> <font class=\\"jammer\\">' p5 Z3 N/ s$ a</font><br />    plt.scatter(k_array, x2_list)<br /> <span style=\\"display:none\\">! P* {' j5 C: E$ S6 V\\" C</span> <font class=\\"jammer\\">* K' j) l0 |  v; _. R</font><br />    plt.plot(k_array, x1_list, label='x1')<br /> <span style=\\"display:none\\">, G$ [: a\\" w8 m</span> <br /> <span style=\\"display:none\\">9 s/ y- T3 X! I</span>    plt.plot(k_array, x2_list, label='x2')<font class=\\"jammer\\">) @0 ]! J+ H# b$ i2 w4 d</font><br /> <br /> <span style=\\"display:none\\">0 m8 ~1 X& h: k3 `1 {/ ^</span>    plt.legend()

绘制了岭迹图，展示了不同正则化参数 ( k ) 下，系数 ( b1 ) 和 ( b2 ) 的变化趋势。
, i8 |! Z' B% B4 B0 D, D6 }. O; \' e
6.自动匹配最佳 ( k ) 值：

1.    model2 = RidgeCV().fit(X, y)

复制代码

使用 RidgeCV 自动匹配最佳正则化参数 ( k ) 并拟合数据。

7.输出最佳模型的参数和拟合优度：

1.    b0 = model2.intercept_[0]  # 截距
   ' ^. h0 C7 }3 f, _! Q; _0 j
2. # ?6 n# D! i( \* z$ M
   
3.    b1, b2 = model2.coef_[0][0], model2.coef_[0][1]  # 系数
   % Q  _2 v3 R4 k: P' B' \
4. , S' {5 t: K& Y' [' n2 Q
   
5.    print('y = {:.4f} + {:.4f}*x1 + {:.4f}*x2'.format(b0, b1, b2))
   + W' H6 J4 Y8 u* M- G1 o
6. 
   % t' w8 N9 k! K# ^1 b$ N+ d* W
7.    print('R_square =', model2.score(X, y))% D9 c4 k3 A# O\" i\" Q+ h  j2 Y
   
8. : E9 L; K  j, V' w$ C$ {2 [
   
9.    print('k =', model2.alpha_)

复制代码

输出了最佳模型的截距、系数、拟合优度以及对应的最佳正则化参数 ( k )。
通过这段代码，你可以对 Ridge 回归模型进行正则化，并选择最佳的正则化参数来提高模型的泛化能力。同时，岭迹图可以帮助你直观地观察不同正则化参数下模型系数的变化趋势。
/ k0 D2 ]$ x7 K; c0 B

/ k: a$ d  q; x" ~0 E2 Q2 Z
: u2 v9 f3 ?+ Z. z! X$ i

7 v" K+ t; L6 y8 x