数学建模社区-数学中国

标题: 神经网络模型用于数学建模 [打印本页]

作者: 浅夏110    时间: 2020-6-4 11:24
标题: 神经网络模型用于数学建模
人工神经网络是在现代神经科学的基础上提出和发展起来的,旨在反映人脑结构及 功能的一种抽象数学模型。自 1943 年美国心理学家 W. McCulloch 和数学家 W. Pitts 提 出形式神经元的抽象数学模型—MP 模型以来,人工神经网络理论技术经过了 50 多年 曲折的发展。特别是 20 世纪 80 年代,人工神经网络的研究取得了重大进展,有关的理 论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。 它在模式识别,图像处理,智能控制,组合优化,金融预测与管理,通信,机器人以及 专家系统等领域得到广泛的应用,提出了 40 多种神经网络模型,其中比较著名的有感 知机,Hopfield 网络,Boltzman 机,自适应共振理论及反向传播网络(BP)等。在这 里我们仅讨论基本的网络模型及其学习算法。
% A$ s5 W7 ]" q) J& M2 w4 x- J+ f5 j" S) h' k2 E0 X! Y0 m# M
1.1  人工神经元结构
: G# }- E( l& o: w- x下图表示出了作为人工神经网络(artificial neural network,以下简称 NN)的基本 单元的神经元模型,它有三个基本要素:   P8 i2 d4 }# h, r

- ?, J& g1 n$ u! A& ?* B! i
) N5 I; S" T6 C7 {; T* Q8 ]
! c4 O9 c  K9 Q
' U4 [' L! j& q, w$ A8 I  C7 i8 s# K7 o- m( u7 h
, C5 d) J8 v! _. u* @
8 e# X# e0 x4 ^: s
1 z7 v* d9 L! w& u% d. S. Q
0 X. B/ K% @& T( n
激活函数  ϕ(⋅ )
. d2 K0 e6 ^2 O' p& d' y) f, S& r可以有以下几种: ' n7 Z! S6 a: T1 ^' s8 y
, h) ~  G, x2 z  ]
(0)Softmax - 用于多分类神经网络输出6 g. B) G2 J: q. q& H! C

/ ^; ]3 P  P/ K% h& a, m; G, a: Q( {0 s3 s: O, P

- b* h$ G8 T5 O7 O: D) L/ V+ C(1)阈值函数 、阶梯函数
& T# J5 O" K$ f8 G
5 t3 T; J9 i; ]% ~' z8 M# a, p* _

1 ~, H! L+ j. R) U* H相应的输出   为
: r- T' g( ?' r! g" T2 S. k" `( N. A! B" v. i9 ^, f
! |3 h7 N. G& l3 t. x* P
) D6 c  O; q& [, b3 }$ {
(2)分段线性函数
$ j; N/ t! u# E( L% v- V+ U
' X3 S) X  v& y. S5 `# w, H
" c& M# u1 R" v
( W& q0 R. a( ?  Y( j它类似于一个放大系数为 1 的非线性放大器,当工作于线性区时它是一个线性组合器, 放大系数趋于无穷大时变成一个阈值单元。
; [+ @( L- d" T. F: U1 c. t/ j; {7 s4 [: q' C5 r6 P
(3)sigmoid 函数 (以前最常用)
; E- }$ B5 n% \3 i, h2 K; n* r* l8 l3 x: ^

! I- g$ B6 m2 Y! ^* d8 l' l0 ?/ J$ N5 Q" _' v4 q; t
参数  α  > 0 可控制其斜率。 sigmoid 将一个实值输入压缩至[0,1]的范围,也可用于二分类的输出层。
/ @- J8 L/ W: F
( m- c' z* \, p. m1 k! V(4)tanh  (双曲正切函数 ;Hyperbolic tangent function) 6 R' d" z0 W) @/ f2 D0 J% S1 N& d

% U0 L7 q# Y% J0 G8 V
  |( e( B6 w$ z, q, I, t9 s7 @! q2 _' w) G) H
将 一个实值输入压缩至 [-1, 1]的范围,这类函数具有平滑和渐近性,并保持单调性.1 O3 T1 A3 d% Y( r- U2 M" P- J  Z: u
* T! E; T/ y$ X* N

; }2 _# H0 O9 ?- \1 Z/ b% E
* X) G3 _/ U6 Q8 R' A/ |5 z. A(5)  relu (Rectified linear unit; 修正线性单元 ; 深度学习目前最常用的激活函数)
. R$ n* i) {! C; ~% U  I8 H3 [
/ X5 j5 i% T) c/ ^- T& ?, Z. l
' j# V  h+ W. F5 g1 K! \
3 b& T2 z, }3 y6 @# a
4 u/ b* |# X+ q. p! v- _8 r# Relu在tensorflow中的实现: 直接调用函数
; U' S6 d1 D. c, P5 u, R7 ttf.nn.relu( features, name= None )
) Q6 J, c+ c, K% W# Q* v( z7 r
7 m/ L. R. Z' v0 H与Sigmoid/tanh函数相比,ReLu激活函数的优点是:' i% {3 O2 |3 u; J

% k. t9 g% a. y0 g! d# i; H( Q 使用梯度下降(GD)法时,收敛速度更快  & S% A- p9 z9 C% T9 M
相比Relu只需要一个门限值,即可以得到激活值,计算速度更快  
% B5 U2 R  ?% X5 U2 m 缺点是:  Relu的输入值为负的时候,输出始终为0,其一阶导数也始终为0,这样会导致神经元不能更新参数,也就是神经元不学习了,这种现象叫做“Dead Neuron”。/ I5 @8 v; N2 c, ^6 n* c- L% S
* H" ?  C1 W" Y' F5 U  J
为了解决Relu函数这个缺点,在Relu函数的负半区间引入一个泄露(Leaky)值,所以称为Leaky Relu函数。+ p; l) V4 H- C: J  ~
; U. _  `5 |7 S5 t- a3 V; B6 R
(6)Leaky Relu  (带泄漏单元的relu )
% e" [, }( d' g$ W7 ~
' i, s* b3 A# t% }6 r           数学表达式: y = max(0, x) + leak*min(0,x)
/ [- [( Y& L) _
; y7 E' u4 k( e+ F; c) T与 ReLu 相比 ,leak 给所有负值赋予一个非零斜率,  leak是一个很小的常数  ,这样保留了一些负轴的值,使得负轴的信息不会全部丢失): w& A  ^) K% k7 j; l& h6 X! }

9 j9 M/ {' J: q& t' l% \3 ~9 U# Q: v' h2 s$ z& _* q: o7 E7 {" p
leaky ReLU
1 ?8 x1 [5 ~: M4 G! ]3 f9 Z- Y4 ], ?; H

8 J3 Y, S) a% h8 l* ]$ s
9 k/ b0 c: z* L! H1 r' i( b& X3 u
1 r# N, e: Y  x% k' a2 E) c#leakyRelu在tennsorflow中的简单实现; b  T' D  q( t. A; c/ L2 _6 L8 |# G
tf.maximum(leak * x, x),
& Q- u+ H) K% S% c
, b" T/ x! X" y- ]# i/ U7 e
0 e; b9 P, j4 r% c( r 比较高效的写法为:
8 O' c( |8 h# L, D- {0 P* u6 R8 n* M1 [
import tensorflow as tf6 v- p- ?, B/ X& b0 Z0 L6 c1 B
def LeakyReLU(x,leak=0.2,name="LeakyReLU"):/ y1 [2 O. Z5 ?( h5 o
    with tf.variable_scope(name):2 ]- G2 N, v5 v; G/ h
        f1 = 0.5*(1 + leak)
0 S/ m) R% X$ {- \2 B        f2 = 0.5*(1 - leak)
; |, M. V  V9 _* F        return f1*x+f2*tf.abs(x)% r6 c" N- J+ w+ w. f
' W- V2 ^- \, v- e1 X' ?
(vi)  RReLU【随机ReLU】
' A( ~0 I, P. i2 b$ o4 L1 {8 u  H, I6 }- Y0 P
在训练时使用RReLU作为激活函数,则需要从均匀分布U(I,u)中随机抽取的一个数值 ,作为负值的斜率。
0 m! O: N3 r/ R4 s& y
, B8 S5 A; @. K4 y% V' ^
; P, c6 z6 L8 S+ V6 v, x# r+ q% e/ |7 q
总结:    激活函数可以分为 两大类
+ X0 c9 x) W2 w2 E+ b# B! v; Q/ z7 a# ?4 h5 s) K4 C! M$ t
饱和激活函数: sigmoid、 tanh8 z! l; N; j, c
非饱和激活函数: ReLU 、Leaky Relu   、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】0 V7 ~3 m; l9 B+ G$ G! l" D3 t
* u4 ^3 L. ^( g: `" O9 B
& f" C; ]  n) @
( w1 _. v+ Q2 O5 g1 G5 @2 o: f& s
相对于饱和激活函数,使用“非饱和激活函数”的优势在于两点:
6 D6 E$ _# ~3 W% M# y- R5 z( X; K    1.首先,“非饱和激活函数”能解决深度神经网络【层数非常多!!】的“梯度消失”问题,浅层网络【三五层那种】才用sigmoid 作为激活函数。& e  C& U& F' k9 G" O, S
    2.其次,它能加快收敛速度。 0 n  H+ s: T0 d9 a/ ^& u
$ P  U% ~+ x8 L* w
其它激活函数:softplus、softsign
) I, D/ P7 q- W3 F4 u' m8 E7 s$ m( X

" U! \( d6 r3 |$ ^: r# ?6 p8 L+ j/ B5 t* a3 M5 {$ m
Matlab 中的激活(传递)函数
! ]5 g5 ~9 w* Y- g3 {) o
0 R1 p* Z# ~7 V. H' a5 A  {
, Y8 G1 ], X, t4 M! \0 P! \
1 H! C+ H7 r  B0 w* W- [1 Y
- i- D5 V) u) s9 c5 k) d/ e5 G% ~! A% h2 a1 w
1.2  网络结构及工作方式
5 f' G) M& i" J& G& B 除单元特性外,网络的拓扑结构也是 NN 的一个重要特性。从连接方式看 NN 主要 有两种。" E. K' J/ T, }( ?/ ~; G6 G

8 ]+ n1 m  M2 j+ l, x2 B0 K; l(i)前馈型网络 各神经元接受前一层的输入,并输出给下一层,没有反馈。结点分为两类,即输入 单元和计算单元,每一计算单元可有任意个输入,但只有一个输出(它可耦合到任意多 个其它结点作为其输入)。通常前馈网络可分为不同的层,第i层的输入只与第 1 −i 层 输出相连,输入和输出结点与外界相连,而其它中间层则称为隐层。
3 x7 v4 V. k. V' ?' Q6 s! B3 L1 i3 r7 \( l5 R
(ii)反馈型网络 所有结点都是计算单元,同时也可接受输入,并向外界输出。 NN 的工作过程主要分为两个阶段:第一个阶段是学习期,此时各计算单元状态不 变,各连线上的权值可通过学习来修改;第二阶段是工作期,此时各连接权固定,计算 单元状态变化,以达到某种稳定状态。 从作用效果看,前馈网络主要是函数映射,可用于模式识别和函数逼近。反馈网络 按对能量函数的极小点的利用来分类有两种:第一类是能量函数的所有极小点都起作 用,这一类主要用作各种联想存储器;第二类只利用全局极小点,它主要用于求解优化问题。 2 v* s( f2 m. }- P3 \
6 G( a: J  ^* j7 n+ y0 L3 ?
2  蠓虫分类问题与多层前馈网络
- N! T' c, |$ y' b  b' G2.1  蠓虫分类问题
( e/ k* f8 n  N/ j' m$ x蠓虫分类问题可概括叙述如下:生物学家试图对两种蠓虫(Af 与 Apf)进行鉴别, 依据的资料是触角和翅膀的长度,已经测得了 9 支 Af 和 6 支 Apf 的数据如下:3 S6 R! @2 K- s: m7 X
7 v5 `7 I+ o* W  g& p) z/ R
Af: (1.24,1.27),(1.36,1.74),(1.38,1.64),(1.38,1.82),(1.38,1.90),(1.40,1.70), (1.48,1.82),(1.54,1.82),(1.56,2.08).
' ?4 E8 Z5 [4 ?2 M9 n  E1 z' E2 I
& f2 T/ s, V& G2 @Apf: (1.14,1.82),(1.18,1.96),(1.20,1.86),(1.26,2.00),(1.28,2.00),(1.30,1.96).
% Y1 q3 g' G9 M7 e% s7 F, {
6 v+ W: X' Q# i现在的问题是:$ G- y1 v2 ?  P" {4 k

4 W: u& M" z: w(i)根据如上资料,如何制定一种方法,正确地区分两类蠓虫。
+ k4 Q) E% \5 p3 s% N) q4 A% N* Z% d8 Q6 z
(ii)对触角和翼长分别为(1.24,1.80),(1.28,1.84)与(1.40,2.04)的 3 个标本,用所得 到的方法加以识别。
/ h# y) ~9 j  S& ^) f/ M6 f! |/ _& ~' D! I- u$ T; C
(iii)设 Af 是宝贵的传粉益虫,Apf 是某疾病的载体,是否应该修改分类方法。+ o7 _4 w/ c1 }5 G

5 r: Z$ p. {% l9 X如上的问题是有代表性的,它的特点是要求依据已知资料(9 支 Af 的数据和 6 支 Apf 的数据)制定一种分类方法,类别是已经给定的(Af 或 Apf)。今后,我们将 9 支Af 及 6 支 Apf 的数据集合称之为学习样本。
8 X* y8 l/ }0 f6 {' h& e
5 }0 J3 ]" R+ u! R4 X' y0 J2.2  多层前馈网络 " {/ J! F/ B- b5 T9 u4 K
为解决上述问题,考虑一个其结构如下图所示的人工神经网络,
6 y. F9 J, }! l3 O# P  I& r" t; ]8 }( f
" Z( t$ l3 L$ j1 v

: V$ C$ O( H; O: w
* o$ V: A3 M8 C' v& I) J使用sigmoid 激活函数:
4 Z( j& ?1 I4 Q' x# |
9 M& C; o! N4 T4 k1 k2 v5 l* F! w. i" S* c. J9 o

8 X5 ?6 ^# T6 V: J6 }8 C图中下面单元,即由   所示的一层称为输入层,用以输入已知测量值。在 我们的例子中,它只需包括两个单元,一个用以输入触角长度,一个用以输入翅膀长度。 中间一层称为处理层或隐单元层,单元个数适当选取,对于它的选取方法,有一些文献 进行了讨论,但通过试验来决定,或许是好的途径。在我们的例子中,取三个就足够 了。上面一层称为输出层,在我们的例子中只包含二个单元,用以输出与每一组输入 数据相对应的分类信息.任何一个中间层单元接受所有输入单元传来的信号,并把处理 后的结果传向每一个输出单元,供输出层再次加工,同层的神经元彼此不相联接,输入 与输出单元之间也没有直接联接。这样,除了神经元的形式定义外,我们又给出了网络 结构。有些文献将这样的网络称为两层前馈网络,称为两层的理由是,只有中间层及输 出层的单元才对信号进行处理;输入层的单元对输入数据没有任何加工,故不计算在层 数之内。
0 ^: [) P) f0 X, E( y6 N6 \% d$ }2 W: T3 H
' d' n% n$ s# n6 y3 z

1 z5 f' I9 N) Q2 h. g
6 C* J8 I9 r- x" ?4 j8 P& k' {# f$ [9 @& a/ X+ t& n. D& i, d1 I, F
2.3  后向传播算法
- f7 K4 u  h( I% [对于一个多层网络,如何求得一组恰当的权值,使网络具有特定的功能,在很长一 段时间内,曾经是使研究工作者感到困难的一个问题,直到 1985 年,美国加州大学的 一个研究小组提出了所谓反向传播算法(Back-Propagation),使问题有了重大进展,这 一算法也是促成人工神经网络研究迅猛发展的一个原因。详细了解请看: 一文弄懂神经网络中的BP反向传播算法* j4 b" J" K2 t" P, R$ f( Y

; D: R( X& H7 L下面就来介绍这一算法。【注:梯度法又称最速下降法。】
* Q5 n& i) e0 H8 U' N
# V1 H& {9 s# C- j$ `2 r  R% Y+ o7 {

7 d( a4 M; k$ Q: W, l  H
1 r5 S( g$ B) A( c# p- X- }5 B2 J5 M" C. W
- ~# ]/ e1 g; S9 @9 \
0 I2 d2 }% g+ y$ n) i0 o
2 E! _% H: W, Q6 e: j: E0 T/ {

7 {9 I' z3 n& b5 ~* W/ Q" B) U7 a(iii)在如上的讨论中使用的是速下降法,显然,这也不是唯一的选择,其它的 非线性优化方法,诸如共轭梯度法,拟牛顿法等,都可用于计算。为了加速算法的收敛 速度,还可以考虑各种不同的修正方式。# j) A- E( [4 o' C  {
% b, J. |% t) b/ H# T
(iv)BP 算法的出现,虽然对人工神经网络的发展起了重大推动作用,但是这一 算法仍有很多问题.对于一个大的网络系统,BP 算法的工作量仍然是十分可观的,这 主要在于算法的收敛速度很慢。更为严重的是,此处所讨论的是非线性函数的优化,那 么它就无法逃脱该类问题的共同困难:BP 算法所求得的解,只能保证是依赖于初值选 取的局部极小点。为克服这一缺陷,可以考虑改进方法,例如模拟退火算法,或从多个随机选定的初值点出发,进行多次计算,但这些方法都不可避免地加大了工作量。
& O1 p8 A, k: w- ~7 L
/ r3 P4 o3 {' V2.4  蠓虫分类问题的求解 9 M' R  j- d* q. r, W
下面利用上文所叙述的网络结构及方法,对蠓虫分类问题求解。编写 Matlab 程序 如下:8 k# D$ R) G) e  M
9 @" }/ {) Q6 T: Z$ B" w
clear
7 v2 h6 b0 E' y; d  b3 Ap1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;% C/ A5 t) w. x% w4 x$ V
    1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];
1 r5 f0 F. N& o( _p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00   
, }- l7 F! ?+ W    1.28,2.00;1.30,1.96]; p=[p1;p2]'; pr=minmax(p); 9 ?( x8 l4 L8 N0 I: E: M
goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)]; # C7 M) @/ `1 N- ]$ R) M" H
plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o') : {) n, C' n9 s4 ^6 N& j
net=newff(pr,[3,2],{'logsig','logsig'}); + H5 U8 ]. v6 {% l1 p% }
net.trainParam.show = 10;
/ B9 ], T2 v% P( u8 _- hnet.trainParam.lr = 0.05;
4 E1 K% M4 u; S& Pnet.trainParam.goal = 1e-10; ) h. ?4 Q+ d  ?" L6 o8 U
net.trainParam.epochs = 50000;
  g* B0 e, o" r/ R, g* Q/ hnet = train(net,p,goal); 8 ^1 u1 W8 b( A. R: h% l
x=[1.24 1.80;1.28 1.84;1.40 2.04]'; % M& n* ?: B2 B: w9 D; P
y0=sim(net,p)
5 \/ z2 E8 N2 E! \y=sim(net,x)
* ^; T8 L' A& ~  j7 J
% c7 b& a+ H0 I- Y$ ?6 G2 ?5 q% }! w' B. g5 W
3 a8 H0 A- l& E% @* _( G/ j7 }( g$ h
3  处理蠓虫分类的另一种网络方法
1 K) a1 y* [$ ~" ^3.1 几个有关概念
! p3 c- F  R7 L2 D1 B- W( E在介绍本节主要内容之前,首先说明几个不同的概念。在上一节中,我们把利用 BP 算法确定联接强度,即权值的过程称为“学习过程”,这种学习的特点是,对任何一 个输入样品,其类别事先是已知的,理想输出也已事先规定,因而从它所产生的实际输 出与理想输出的异同,我们清楚地知道网络判断正确与否,故此把这一类学习称为有监督学习;与它不同的是,有些情况下学习是无监督的,例如,我们试图把一组样品按其本身特点分类,所要划分的类别是事先未知的,需要网络自身通过学习来决定, 因而,在学习过程中,对每一输入所产生的输出也就无所谓对错,对于这样的情况,显 然 BP 算法是不适用的。 另一个有关概念是所谓有竞争的学习。在上节所讨论的蠓虫分类网络中,尽管我们 所希望的理想输出是 (0,1)或(1,0),但实际输出并不如此,一般而言,两个输出单元均同时不为 0。与此不同,我们完全可以设想另外一种输出模式:对应任何一组输入,所 有输出单元中,只允许有一个处于激发态,即取值为 1,其它输出单元均被抑制,即取 值为 0。一种形象的说法是,对应任何一组输入,要求所有的输出单元彼此竞争,唯一 的胜利者赢得一切,失败者一无所获,形成这样一种输出机制的网络学习过程,称为有 竞争的学习。
; C5 D& F! U& c4 W* v8 U# E" y3 q; N: j0 A" U
3.2  简单的无监督有竞争的学习
9 _2 P4 E" B& l+ |4 C$ u* {, s9 A( U
本节叙述一种无监督有竞争的网络学习方法,由此产生的网络可用来将一组输入样 品自动划分类别,相似的样品归于同一类别,因而激发同一输出单元,这一分类方式, 是网络自身通过学习,从输入数据的关系中得出的。 蠓虫分类问题对应有监督的网络学习过程,显然不能由如上的方法来解决。但在这 种无监督有竞争的学习阐明之后,很容易从中导出一种适用于有监督情况的网络方法; 此外,本节所介绍的网络,在数据压缩等多种领域,都有其重要应用。
4 j" y) T3 ?8 ?+ [  p1 [
( g0 h2 j5 p1 t; ]; _, _% w/ {) G4 {7 F* w( p6 S3 u6 }
3 P' l. I* F3 L: M

: u: e$ A) K" a$ O1 c! T
- P5 u/ N$ O/ c; o' J/ K0 Q8 ~7 r, ^# ?0 B/ l% B7 B& X: a

& `6 q  X2 t& Y为了更有效地使用如上算法,下面对实际计算时可能产生的问题,作一些简要说明。$ _- a. _9 ]: w- e" H+ d+ c

, u" \6 l9 x* c9 s% P1 o6 t 首先,如果初始权选择不当,那么可能出现这样的输出单元,它的权远离任何输入 向量,因此,永远不会成为优胜者,相应的权也就永远不会得到修正,这样的单元称之 为死单元。为避免出现死单元,可以有多种方法。一种办法是初始权从学习样本中抽样 选取,这就保证了它们都落在正确范围内;另一种办法是修正上述的学习算法,使得每 一步不仅调整优胜者的权,同时也以一个小得多的 η 值,修正所有其它的权。这样,对 于总是失败的单元,其权逐渐地朝着平均输入方向运动,终也会在某一次竞争中取胜。 此外,还存在有多种处理死单元的方法,感兴趣的读者可从文献中找到更多的方法。
2 [. x1 M9 L' e; S5 ^
" n( d+ k+ c, }* m0 P' n) f4 A+ z2 f6 t, Z
9 A  d( w- X  A7 w5 q2 y' }7 _4 s
" o5 A& k' v: {; c
+ q9 o2 ]" N2 `8 d# K+ `, ~1 r( L
3.3  LVQ 方法 --学习矢量量化2 C/ h0 I3 z: X; e) K8 f3 B

* Y  h+ J$ \* A* Q上述有竞争学习的一个重要应用是数据压缩中的向量量子化方法(Vector Quantization,又称,学习矢量量化)。它的基本想法是,把一个给定的输入向量集合   分成M 个类别,然后 用类别指标来代表所有属于该类的向量。向量分量通常取连续值,一旦一组适当的类别确定之后,代替传输或存储输入向量本身,可以只传输或存储它的类别指标。所有的类别由M 个所谓“原型向量”来表示,我们可以利用一般的欧氏距离,对每一个输入向量找到靠近的原型向量,作为它的类别。显然,这种分类方法可以通过有竞争的学习直接得到。一旦学习过程结束,所有权向量的集合,便构成了一个“电码本”。
" y" i3 M1 i3 b4 ?9 `: G8 [
# v- P" ?: D$ b' {一般而言,上述无监督有竞争的学习,实际提供了一种聚类分析方法,对如蠓虫分类这种有监督的问题并不适用。1989 年,Kohonen 对向量量子化方法加以修改,提出 了一种适用于有监督情况的学习方法,称为学习向量量子化(Learning Vector Quantization),该方法可用于蠓虫分类问题。在有监督的情况下,学习样品的类别是事 先已知的,与此相应,每个输出单元所对应的类别也事先作了规定,但是,代表同一类 别的输出单元可以不止一个。
% @% v# N! l2 {( H0 }: N) v
9 ?, O" Y6 g: l2 G
# @8 \+ x* F& H# o+ Q
$ [9 i+ M$ \, \$ x" Z# B) S; j5 a前一种情况,修正和无监督的学习一致,权朝向样本方向移动一小段距离;后一种 则相反,权向离开样本方向移动,这样就减少了错误分类的机会。 对于上述的蠓虫分类问题,我们编写 Matlab 程序如下: $ j/ B# c6 o8 I6 C8 v  K9 f! c) c
clear $ @9 T: e& {; Y+ n
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;* A; L  Y% r+ s# y0 ^
    1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08]; 7 z% w1 c9 B1 j( L  h
p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00  " V5 \6 l  O# v- o! K
    1.28,2.00;1.30,1.96];
9 l! N' ]5 S# \0 ?p=[p1;p2]' ' E  `6 `7 |1 {( `2 o8 [! V+ v; n
pr=minmax(p)
9 u$ Y- |6 z) N/ e) \% d" F/ Kgoal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)] # z6 o0 E5 ]6 O9 a
net = newlvq(pr,4,[0.6,0.4]) ! \) J& c+ z4 q/ C! P: K3 w: Z
net = train(net,p,goal) 9 O. O/ h9 P# y  y' A) C. M
Y = sim(net,p) ; \9 z! G( u: u0 \; Z$ j( r
x=[1.24 1.80;1.28 1.84;1.40 2.04]' ' A) Y1 ^) P4 m* b' @& C9 C" l
sim(net,x)
! V" t$ T! ?4 u4 U9 K* X; M" J+ r$ y2 _. s
习 题 ( e0 I& Z9 I; K4 B$ P+ F
1. 利用 BP 算法及 sigmoid 函数,研究以下各函数的逼近问题 3 [6 D, e9 D+ z1 |. }
+ V# V- h& W4 P/ s

$ o6 U! _1 l" C+ A( M% j6 S) s9 w; {3 g2 }% c2 i1 a
对每一函数要完成如下工作:7 a2 m+ X  S; v: e
+ h4 f" u0 n7 a; ~: V
① 获取两组数据,一组作为训练集,一组作为测试集;
1 K1 p" w( h2 }6 x1 x
" @/ J+ O. d, ^1 {, d' s# R② 利用训练集训练一个单隐层的网络;用测试集检验训练结果,改变隐层单元数, 研究它对逼近效果的影响。 ' W2 x5 r8 r) g8 n6 v8 X
: ?- i, c4 H2 {' f. C9 x" m
2. 给定待拟合的曲线形式为+ \6 A2 D2 R% \' l0 |( E
1 a: s7 X: Z4 @

8 H( ?; N  ^  u; J& ]
( S+ ]3 q8 J, g% C; W% w/ O在  上等间隔取 11 个点的数据,在此数据的输出值上加均值为 0,均方差  σ = 0.05 的正态分布噪声作为给定训练数据,用多项式拟合此函数,分别取多项式的阶次为 1, 3 和 11 阶,图示出拟合结果,并讨论多项式阶次对拟合结果的影响。! g+ M! X* P# c; W

' T4 x9 H0 [/ x  R# {, S' p3 R2 d! W4 P: r
9 g  k5 Z3 u; N: N, e- T
9 _( a+ z7 f; G1 }0 C- j$ F) z
  l' B0 t5 I: z+ |. \9 J
* R$ e" G8 I0 v! R8 X# [$ ]
————————————————
: ]4 Y* N/ a( N0 O+ C. H0 C% c版权声明:本文为CSDN博主「wamg潇潇」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。8 j2 m( r. N, g! c) ~6 d" X" [
原文链接:https://blog.csdn.net/qq_29831163/article/details/89509279
1 D  b- X% w. X5 c  }* p* Y& L* A- T7 U, B

5 p, |+ O3 e! ^; A7 A  }- s) v6 G: ~




欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5