房价预测（线性回归）

2744557306

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
* E0 z4 {8 {5 N1 p" t: N) m$ o* p线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。
! T% F3 ?; l  Q% Z
" H$ N* b. i" y. ^  `6 Y. @加载和预处理数据
* Y; G( m0 V, v" E! j首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

2. from sklearn.datasets import fetch_california_housing, l% t) A. ^! [# g1 L0 A
   
4. 
   
5. , P) T3 G\\" J, R; `, r4 @: k- A
6. from sklearn.model_selection import train_test_split  L7 V  i) `; `5 {
   
8. 4 N1 K( y4 C3 W3 @
   
10. from sklearn.preprocessing import StandardScaler, n. M( ]1 C7 E; e
    
12. 
    
13. 6 _; n3 {8 g. X# n7 d% z8 U& Q/ C9 O
14. from sklearn.linear_model import LinearRegression7 j' K0 w$ C\\" p/ z. E% g
    
16. % N) o: Z5 ^+ h5 Q. w( }& c) m( ^/ \
    
18. from sklearn.metrics import mean_squared_error
    
19. \\" s* |7 y. u1 i+ D9 y% _
20. 
    
21. 4 F\\" x, e. e, `7 M\\" D$ Y
22. 2 j+ i$ D& h+ P4 E
    
24. 
    
25. $ z- G' w6 {+ W& T
26. # 加载数据集1 m- r% S* y9 R; h\\" w
    
28. ( r, Y; `# p4 Z% W( g* M8 g
    
30. housing = fetch_california_housing()7 D3 K\\" P$ n! m
    
32. 
    
33. . k' [+ D% W$ y4 g  O) M7 s1 s
34. X, y = housing.data, housing.target7 E6 W0 p. W( {
    
36. 
    
37. + p& Y4 i# f$ I8 a0 c* l4 x& f2 k
38. 
    
39. + ?/ u  t# E* u; i, e! f7 [
40. 
    
41. ) L6 X: Q1 ?% W) j8 E* b( T3 O7 F. D% T: P
42. # 划分训练集和测试集
    
43. $ k7 V\\" N6 o0 I8 {0 R
44. $ \\\" D  c% s' l& g8 d
    
46. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)* n  L  e7 Z: C+ ?0 \  ?
    
48. + d% n+ Y* \: p9 s. {! {' z$ L
    
50. 
    
51. 7 p$ A0 c/ Q( }2 `
52. 
    
53. ( G5 z5 U7 [# Y, h& e- T6 R) i  x
54. # 数据预处理：标准化
    
55. # c/ W+ f/ w! V
56. , ]  v6 w. b. P: t
    
58. scaler = StandardScaler()
    
59.   t. X( R/ H4 u- `2 q; x$ S
60. 
    
61. ; r  ^+ m9 J9 S+ u6 ]: d; X
62. X_train_scaled = scaler.fit_transform(X_train)! `, j3 q$ z, t( ^
    
64. 
    
65. 1 {. ^3 a2 V( J! H/ G4 {
66. X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing<font class=\\"jammer\\">, l% t) A. ^! [# g1 L0 A</font><br /> <br /> <span style=\\"display:none\\">, P) T3 G\\" J, R; `, r4 @: k- A</span> from sklearn.model_selection import train_test_split<font class=\\"jammer\\">  L7 V  i) `; `5 {</font><br /> <font class=\\"jammer\\">4 N1 K( y4 C3 W3 @</font><br /> from sklearn.preprocessing import StandardScaler<font class=\\"jammer\\">, n. M( ]1 C7 E; e</font><br /> <br /> <span style=\\"display:none\\">6 _; n3 {8 g. X# n7 d% z8 U& Q/ C9 O</span> from sklearn.linear_model import LinearRegression<font class=\\"jammer\\">7 j' K0 w$ C\\" p/ z. E% g</font><br /> <font class=\\"jammer\\">% N) o: Z5 ^+ h5 Q. w( }& c) m( ^/ \</font><br /> from sklearn.metrics import mean_squared_error<br /> <span style=\\"display:none\\">\\" s* |7 y. u1 i+ D9 y% _</span> <br /> <span style=\\"display:none\\">4 F\\" x, e. e, `7 M\\" D$ Y</span> <font class=\\"jammer\\">2 j+ i$ D& h+ P4 E</font><br /> <br /> <span style=\\"display:none\\">$ z- G' w6 {+ W& T</span> # 加载数据集<font class=\\"jammer\\">1 m- r% S* y9 R; h\\" w</font><br /> <font class=\\"jammer\\">( r, Y; `# p4 Z% W( g* M8 g</font><br /> housing = fetch_california_housing()<font class=\\"jammer\\">7 D3 K\\" P$ n! m</font><br /> <br /> <span style=\\"display:none\\">. k' [+ D% W$ y4 g  O) M7 s1 s</span> X, y = housing.data, housing.target<font class=\\"jammer\\">7 E6 W0 p. W( {</font><br /> <br /> <span style=\\"display:none\\">+ p& Y4 i# f$ I8 a0 c* l4 x& f2 k</span> <br /> <span style=\\"display:none\\">+ ?/ u  t# E* u; i, e! f7 [</span> <br /> <span style=\\"display:none\\">) L6 X: Q1 ?% W) j8 E* b( T3 O7 F. D% T: P</span> # 划分训练集和测试集<br /> <span style=\\"display:none\\">$ k7 V\\" N6 o0 I8 {0 R</span> <font class=\\"jammer\\">$ \\\" D  c% s' l& g8 d</font><br /> X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<font class=\\"jammer\\">* n  L  e7 Z: C+ ?0 \  ?</font><br /> <font class=\\"jammer\\">+ d% n+ Y* \: p9 s. {! {' z$ L</font><br /> <br /> <span style=\\"display:none\\">7 p$ A0 c/ Q( }2 `</span> <br /> <span style=\\"display:none\\">( G5 z5 U7 [# Y, h& e- T6 R) i  x</span> # 数据预处理：标准化<br /> <span style=\\"display:none\\"># c/ W+ f/ w! V</span> <font class=\\"jammer\\">, ]  v6 w. b. P: t</font><br /> scaler = StandardScaler()<br /> <span style=\\"display:none\\">  t. X( R/ H4 u- `2 q; x$ S</span> <br /> <span style=\\"display:none\\">; r  ^+ m9 J9 S+ u6 ]: d; X</span> X_train_scaled = scaler.fit_transform(X_train)<font class=\\"jammer\\">! `, j3 q$ z, t( ^</font><br /> <br /> <span style=\\"display:none\\">1 {. ^3 a2 V( J! H/ G4 {</span> X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

1. # 创建线性回归模型
   0 X' D7 z  [7 `3 z/ |
2. model = LinearRegression()
   , r, H5 M- [\" `) \8 M
3. % K8 c8 Z- D3 x& ?- f8 X
   
4. # 训练模型( Q8 s7 Z6 ]  {' [
   
5. model.fit(X_train_scaled, y_train)
   8 h' V; O7 O2 F- D4 N* p1 u
6. ( h& x5 l$ ~) I9 u% X( w1 e3 \: V
   
7. # 预测测试集3 z) E4 d# r. G% x+ [, |
   
8. y_pred = model.predict(X_test_scaled)
   : f! S4 M6 v  ?5 q+ F/ f
9. 
   2 W# a) {# B! G6 p
10. # 评估模型( u- D. {0 L5 G
    
11. mse = mean_squared_error(y_test, y_pred)
    1 W& |6 G6 o2 E5 w
12. print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
! N2 {. z9 s! w, b' T特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

1. from sklearn.feature_selection import SelectKBest, f_regression( q5 \# R( z$ e+ j
   
2. % F) M+ j0 Q' f% b
   
3. # 特征选择
   4 A* f7 K+ a( d, b1 y) a0 g
4. selector = SelectKBest(score_func=f_regression, k=5)
   / s* e- T/ d\" n
5. X_train_selected = selector.fit_transform(X_train_scaled, y_train)
   8 u: Q  V1 f# w6 _& j\" q% g
6. X_test_selected = selector.transform(X_test_scaled)
   9 I# f* L8 x( v! u! J0 P' k: V0 ^- v
7. 
   $ g0 W  @* I2 Q
8. # 使用选择的特征重新训练模型7 _/ ?3 ^/ A) e9 t
   
9. model.fit(X_train_selected, y_train); w4 g\" \' R4 k. D/ a* Y
   
10. y_pred_selected = model.predict(X_test_selected); c! U8 q\" H- c* x0 e) ~. R! c
    
11. 
    $ v% N3 M3 y0 p4 c) `
12. # 评估- d! q- l% E5 i8 i  ?% T% R
    
13. mse_selected = mean_squared_error(y_test, y_pred_selected)! W7 d4 Z: X$ ^# `( N' c
    
14. print(f"Mean Squared Error with selected features: {mse_selected}")

复制代码