在线时间 1630 小时 最后登录 2024-1-29 注册时间 2017-5-16 听众数 81 收听数 1 能力 120 分 体力 541117 点 威望 12 点 阅读权限 255 积分 167713 相册 1 日志 0 记录 0 帖子 5324 主题 5250 精华 18 分享 0 好友 163
TA的每日心情 开心 2021-8-11 17:59
签到天数: 17 天
[LV.4]偶尔看看III
网络挑战赛参赛者
网络挑战赛参赛者
自我介绍 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
群组 : 2018美赛大象算法课程
群组 : 2018美赛护航培训课程
群组 : 2019年 数学中国站长建
群组 : 2019年数据分析师课程
群组 : 2018年大象老师国赛优
多项式函数拟合sin函数(最小二乘法求解参数及其正则化)
U5 T( \6 P* F3 T
# t* x3 ^ G$ F 1.统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科。统计学习包括监督学习、非监督学习、半监督学习和强化学习。4 {! p5 W' w* g4 D$ ~; x& X# ~
2.统计学习方法三要素——模型、策略、算法,对理解统计学习方法起到提纲挈领的作用。
, d; h# q p. \2 e# p, s 3.本书主要讨论监督学习,监督学习可以概括如下:从给定有限的训练数据出发, 假设数据是独立同分布的,而且假设模型属于某个假设空间,应用某一评价准则,从假设空间中选取一个最优的模型,使它对已给训练数据及未知测试数据在给定评价标准意义下有最准确的预测。/ `1 \) h* Y5 p) G0 i7 d U5 q
4.统计学习中,进行模型选择或者说提高学习的泛化能力是一个重要问题。如果只考虑减少训练误差,就可能产生过拟合现象。模型选择的方法有正则化与交叉验证。学习方法泛化能力的分析是统计学习理论研究的重要课题。
1 k9 c+ Q& z* g1 y+ G; b, X: g+ l5 |4 ] 5.分类问题、标注问题和回归问题都是监督学习的重要问题。本书中介绍的统计学习方法包括感知机、K近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法、EM 算法、隐马尔可夫模型和条件随机场。这些方法是主要的分类、标注以及回归方法。它们又可以归类为生成方法与判别方法。- q% A& u& K1 w% ?* ]% R
, A I8 h+ Z' d& x1 _9 G
/ x# i- B( R1 ]( y
" i1 |) _% `5 U# r2 n
9 o0 A# b! l/ H& e* {- |) N
+ \/ J% l/ |3 y" \1 l# A& ]# ~ import numpy as np
0 K& R- V5 J! }1 m import matplotlib.pyplot as plt. g% F. j# b2 P2 J1 T9 _
from scipy.optimize import leastsq
: w; L* R+ k6 h. p j
, ]. [# r) l- N3 ]% @. N3 S
' N3 t7 @9 r/ Q8 b # 我们要拟合的目标函数
% R0 G) Y% b) O! M5 Z def real_func(x):
9 [4 h/ X+ z5 V4 S; U% @9 I" B0 X; ~6 W return np.sin(2*np.pi*x)
0 a1 R& W$ x" g0 T, E/ c
2 h! \$ w# `( C! w% n 2 c7 p& ?* r8 ~6 g$ \, X8 ~
# 我们自己定义的多项式函数
! l1 l$ e" V7 Q0 Y4 X- K6 O2 K% s0 @ def fit_func(p, x):
, x& o8 c S6 ? f = np.poly1d(p) # np.poly1d([2,3,5,7])返回的是函数,2x3 + 3x2 + 5x + 7( M$ _" y4 Y3 b8 L
ret = f(x)1 d+ E/ J( T) R5 _1 ], r& c9 n
return ret* P* n2 b0 f! G/ L5 b" @) O
8 g+ J3 x) v! Y, M/ y
3 ?8 J% i ]+ E Q* Y # 计算残差
4 S2 V0 d6 Z" x7 Z' S# U def residuals_func(p, x, y):
6 A) l, h/ ? E0 f, p ret = fit_func(p, x) - y
3 c2 [4 S+ X3 Y6 N% |* \ return ret& H" y! o q+ e/ c; u
7 E: ^! K( T2 d- r* k% X" |
+ X! n( G. y n1 ^: b- j def fitting(M=0):, T. h. s* j# e6 s
"""
3 t: s; M/ f$ _% T- \ M 为 多项式的次数
3 f+ s) z3 o; J+ o8 q: B1 `5 y4 Q """% D0 ~4 D* [0 V0 L+ w% R
# 随机初始化多项式参数
$ j- ]6 p' t5 k9 R3 D p_init = np.random.rand(M + 1) # 返回M+1个随机数作为多项式的参数
9 S( {. p* T) W7 b+ x! j) s. ]# ? # 最小二乘法:具体函数的用法参见我的博客:残差函数,残差函数中参数一,其他的参数
' v- x7 J4 D- w. @( n& [ p_lsq = leastsq(residuals_func, p_init, args=(x, y))
/ ]2 j( C. W6 {( O4 R% R # 求解出来的是多项式当中的参数,就是最小二乘法中拟合曲线的系数
! b# {$ T3 {3 i # print('Fitting Parameters:', p_lsq[0])5 M! J+ O* w+ T% v
return p_lsq[0]" r* |3 c/ V. O2 T
' v1 w4 M7 n" R" X
C2 b1 E9 O$ H, o # 书中10个点,对y加上了正态分布的残差3 N+ u5 L/ a" X! d, c
x = np.linspace(0, 1, 10)
) a. k0 B# [ S y_old = real_func(x)
! f" k ^+ e/ b8 C+ _$ Y y = [np.random.normal(0, 0.1) + yi for yi in y_old]3 ?! N1 @( F' W
+ F/ z7 G Z& s% }7 @7 N0 @
: F* g* i$ D% h x_real = np.linspace(0, 1, 1000)2 u4 X& L3 y! Y/ z- ^7 T" G
y_real = real_func(x_real)7 `6 f" `4 I5 {- X
# C5 H+ i# @* Q0 i! w7 `3 t* \2 M/ O6 C
/ d0 ~, E0 ?/ E8 n; t9 L% v
plt.plot(x_real, y_real, label="real")
& p. [$ b; [/ }3 X1 D( A, N& i plt.plot(x, y, 'bo', label='point')
# [5 ^2 `$ P1 e- j7 Z$ A7 L3 {) H+ n # fiitting函数中args=(x, y)是条用的是上面定义的10个点的全局变量x,y( H, P- j* B: n
plt.plot(x_real, fit_func(fitting(9), x_real), label="fitted curve")6 \7 O i% o# f) v
plt.legend()
! H2 [# m7 Q8 H/ l: l1 B" K plt.show()
$ L$ N8 B# p" j5 q8 C" ~ : k! _/ @0 ?9 h5 I
M=0
5 k6 r' F+ p1 d, g. d3 l }
1 }& e, L8 L. U& f) i
: g" U2 T2 L3 t
M=1 ; ?2 o; k% u, |. F! N1 L2 x
& r4 b' Y0 i% D" u; `5 ]4 T. }
M=3 2 `) e( |8 K3 |% ^: d2 r" x* `9 v
8 b: A5 z5 H7 ? D: g
5 h0 T4 s( G. \+ R
1 d; j2 S& X7 T+ R
M=9
. A* l9 Z+ h5 J: k4 C
( z3 N, c/ e) Y% z9 ]
/ v$ {& M0 W' U+ K! ?" @/ L; z
( ^# U$ j/ ^5 @) Q$ ~2 q
W是参数,就是最小二乘法求得到的系数 $ Q3 S5 {; o( l, m5 T$ r) Y
lambda是regularization,是自定义的系数。
1 g2 i6 S+ Z3 y3 Z1 B* T; y* j m import numpy as np
( f ~0 q/ x/ O import matplotlib.pyplot as plt
) Q c5 G! D! W2 D from scipy.optimize import leastsq7 F' W# k* Z4 e6 {5 o( d
/ r, i: e- A9 M6 B8 d0 O
9 G3 C' n" D4 ?. m # 我们要拟合的目标函数
F$ z' X+ s+ }, [" k. f def real_func(x):
* M% H! U1 W, I, w4 } return np.sin(2*np.pi*x)) P, M+ V, F% J) r! T
' l5 @: s! E7 @) \# [, f. \0 ^$ t
6 b. g z1 a [3 P+ w) z
# 我们自己定义的多项式函数
* I7 B: X G! |% |$ n9 O" m2 z def fit_func(p, x):
% ]3 b, {, ?- E @8 A f = np.poly1d(p) # np.poly1d([2,3,5,7])返回的是函数,2x3 + 3x2 + 5x + 7
8 M+ E% c3 O; L* D3 }8 S* d ret = f(x)
" w5 B7 [7 ^( [! @1 I return ret! s4 d: W. H7 Q
$ r% N! P0 i8 D8 B
+ x! T: R; a8 w% y # 计算残差
: j& D2 K1 c$ b def residuals_func(p, x, y):
' H/ B' u$ Q5 z$ R4 x7 S$ A ret = fit_func(p, x) - y
8 G3 f! |* Z% q2 N return ret+ M, @% A7 l7 r2 |; r! N* c
5 T& H/ H* u, h" ?6 S4 R
8 O5 H) S e- L6 V- Z! e. ]8 o
# 返回残差和正则项5 \/ [0 z2 b, l8 o* h- G4 M
def residuals_func_regularization(p, x, y):9 l5 ]+ S- m8 y6 W
ret = fit_func(p, x) - y$ K5 o; L V8 s5 c. ?0 i9 `! a
ret = np.append(ret,
0 j. T& t' ~9 q np.sqrt(0.5 * regularization * np.square(p))) # L2范数作为正则化项
: U( I% h4 T+ o% [6 |2 J return ret
9 ~! |3 A; e; y! U, { a9 V 9 ^% F7 ~# e) K) @2 |1 M
0 o: Y7 o7 I; i) _8 K9 h) ` def fitting(M=0):* u; J3 a( T6 }. y5 B
"""
4 X& o. S# z: x+ ~ M 为 多项式的次数: w" y( T& F, I4 j' s
"""( k* z2 e9 L1 G
# 随机初始化多项式参数
% z, n* U/ E, A- a; {- ^( z p_init = np.random.rand(M + 1) # 返回M+1个随机数作为多项式的参数2 ?1 W' m, g; S5 `- e
# 最小二乘法:具体函数的用法参见我的博客:残差函数,残差函数中参数一,其他的参数
; m9 c9 ?) l; R% V p_lsq = leastsq(residuals_func, p_init, args=(x, y))
; S6 w8 p% t% y: I+ [5 R2 { # 求解出来的是多项式当中的参数,就是最小二乘法中拟合曲线的系数
6 I8 M' A% d. k- l # print('Fitting Parameters:', p_lsq[0])
: a4 [& W& K3 A( W6 T return p_lsq[0]
9 Y, f" V& C' n9 k+ H: P 5 k% ~7 c# X8 l T8 k
. l9 V& a) Y: b! _ Q # 书中10个点,对y加上了正态分布的残差
/ V0 y8 z4 a. u2 k0 P! r& h2 | x = np.linspace(0, 1, 10)# `% r: `$ {* L6 T3 Z8 K# u8 i
y_old = real_func(x)
% {1 L7 Q! ^# u. J! S- [' v y = [np.random.normal(0, 0.1) + yi for yi in y_old]
) c1 x; r# k% @& b9 [
0 l6 ^) f' [$ t4 {% d8 g ( j Y9 o, W/ s) `4 P
x_real = np.linspace(0, 1, 1000). N/ |) b; `; J& s8 F6 E/ |
y_real = real_func(x_real)
4 H) U9 |4 f& d& g; S: v6 t . ^. D% p3 Z) ^/ ~
( P, u7 O: E/ ?1 l1 W5 T, W
# # 画出10个散点,sin图像,和拟合的曲线4 ]. ^, ~5 H/ E0 Q3 ]( E! V
# plt.plot(x_real, y_real, label="real")3 J. A E W" X' G1 t
# plt.plot(x, y, 'bo', label='point'). D1 g! K1 q- M& t
# plt.plot(x_real, fit_func(fitting(9), x_real), label="fitted curve")
. q9 P+ v$ c- g3 {8 L- P4 U; m& [% ^ # plt.legend()
0 [& t8 H! g" E m. e; b* } # plt.show()
" i3 X. y9 ]/ a8 l% z. e
4 x$ E; \ R! I" m7 f # |+ J! k+ O3 {
# 画出添加正则项的曲线3 }% p8 F0 L6 @6 B4 e
regularization = 0.00017 b; b& R) C+ @4 V0 \& j5 V9 x: o5 n
p_init = np.random.rand(9 + 1)# L$ T" M+ z1 d) [$ T0 X( e! h
p_lsq_regularization = leastsq(
: u+ z& b9 K! `' k residuals_func_regularization, p_init, args=(x, y)): |. E! }6 ]2 n1 `7 |6 U
t- _) c- L Z" c& _
0 U6 I+ ^7 n! a, f; y
# 画出原sin图像,不加正则项的图像,加上正则项的图像,10个点的散点图
' v/ H8 Q3 L( J) l# _% p # 不加正则项和加上正则项都是9次方,10个系数- [ r5 z, W/ n: ]
plt.plot(x_real, real_func(x_real), label='real') ?1 J; N) | P: p! N! C
plt.plot(x_real, fit_func(fitting(9), x_real), label='fitted curve'). T7 K( ], {6 R* h
plt.plot(; F2 m, K- F* q0 Y6 p/ N/ H0 }
x_real,3 t; ~( D) r* L2 f8 d: |% `5 q
fit_func(p_lsq_regularization[0], x_real), R. M9 r7 a* z6 `. I! X$ u) r! r
label='regularization')
+ k5 k. v! K: C9 r; g8 I1 p plt.plot(x, y, 'bo', label='noise')
+ N* Z6 G: S# A; {7 G' [' g plt.legend()' v) N6 Y- V+ u( _2 [% p5 R
plt.show()
3 K$ h8 [0 R( m4 p , g5 ~) x Y( n9 v/ Q: C- k! _3 V
% H6 k3 Q0 C: |' x6 F
! t9 O7 z3 e h/ q/ S
* Q# G) R- g2 b1 E6 q9 Z% f
& X/ N" w, _" q4 Q3 T/ w
zan