数学建模社区-数学中国

标题: 神经网络模型用于数学建模 [打印本页]

作者: 浅夏110    时间: 2020-6-4 11:24
标题: 神经网络模型用于数学建模
人工神经网络是在现代神经科学的基础上提出和发展起来的,旨在反映人脑结构及 功能的一种抽象数学模型。自 1943 年美国心理学家 W. McCulloch 和数学家 W. Pitts 提 出形式神经元的抽象数学模型—MP 模型以来,人工神经网络理论技术经过了 50 多年 曲折的发展。特别是 20 世纪 80 年代,人工神经网络的研究取得了重大进展,有关的理 论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。 它在模式识别,图像处理,智能控制,组合优化,金融预测与管理,通信,机器人以及 专家系统等领域得到广泛的应用,提出了 40 多种神经网络模型,其中比较著名的有感 知机,Hopfield 网络,Boltzman 机,自适应共振理论及反向传播网络(BP)等。在这 里我们仅讨论基本的网络模型及其学习算法。
) d$ a+ c; z. q$ Y; T! R" k+ \  ?, L4 i
1.1  人工神经元结构
. U* T/ `2 Z7 ]- v下图表示出了作为人工神经网络(artificial neural network,以下简称 NN)的基本 单元的神经元模型,它有三个基本要素:
1 {, p$ q8 }; N. A
. E% A0 h, ]& ~+ d6 K. A
! u/ l( |/ J& b' o7 B  `5 {: u$ o- N) A4 v
) M+ b: H- ^& K2 q* u! E. c

0 R* u! Y" C! h- a, C
; d+ F3 \$ z) E/ R7 d7 T/ C/ A
' V0 k: B$ O7 z* `' V& ~5 ]; q+ K' P* ~
- ]5 @7 U4 L" w+ I: ]7 [
激活函数  ϕ(⋅ )
8 f' a1 c7 r& T. p! \4 F可以有以下几种:
& V$ @, V1 W; i0 S& q7 D! x# H* P# R
(0)Softmax - 用于多分类神经网络输出
: i/ v7 R/ U+ f8 X
, J( s$ @% e% @3 U# i9 w- q! E( U2 `. C" L+ O9 r* w3 }! i
- U' @( y% a8 V0 B) `- W) e* c
(1)阈值函数 、阶梯函数4 [# J1 u8 @0 s+ k

8 h# c8 q2 x  m3 N# _7 }: ~5 x9 I( ]5 X( `! Y
6 h( A, }5 `  Q6 s) C  n
相应的输出   为 $ w* Y: C1 t% K% w! Y7 l! B

1 ~! q" Q" F4 Y4 y- D7 j
2 \" T5 A0 p+ Y  C! t
; }( B  U5 d( T7 E(2)分段线性函数
6 Z4 N7 h. ^8 H* t+ k4 _# L- J) j2 |  R- y
7 H  u4 A& T& G) g) Q% E6 H

) o2 a# K* I. m1 c* C5 J它类似于一个放大系数为 1 的非线性放大器,当工作于线性区时它是一个线性组合器, 放大系数趋于无穷大时变成一个阈值单元。
. B6 x) a, j9 C+ c! L7 l9 W; J5 D  c+ K- U' N
(3)sigmoid 函数 (以前最常用) ) o/ d# z- ?' n
9 q- P. S+ s2 g' j

5 k* F% H) q( T6 @( A) U& k& [6 a# b: @/ p- N3 u: s
参数  α  > 0 可控制其斜率。 sigmoid 将一个实值输入压缩至[0,1]的范围,也可用于二分类的输出层。( D  o6 k% X3 f% g8 u8 N) `1 o$ p

; O# S# n; q! u$ ^/ M+ Y(4)tanh  (双曲正切函数 ;Hyperbolic tangent function)
. S- Z- F- B( T' B# [+ D/ Q, [% W# r; Z

5 ^) V6 M4 `1 s( j5 s" [! L; |6 V4 f" e' n3 W  f+ X
将 一个实值输入压缩至 [-1, 1]的范围,这类函数具有平滑和渐近性,并保持单调性.
6 \6 m) h/ A, _% x; C$ I
, s( L( H. Z, t) T+ |6 T3 t7 P. m; Q5 n

3 [) q, e( g: v7 v(5)  relu (Rectified linear unit; 修正线性单元 ; 深度学习目前最常用的激活函数)
1 S/ o9 z% R' h3 ]0 y" f- c- C' S; \8 h& R
' G( e1 }" V0 T$ _6 l
- a1 l+ C. u3 f$ P% F

, F' z* J) k/ S. m# Relu在tensorflow中的实现: 直接调用函数 " E4 @5 R$ T% H8 B! t  x/ P) X2 H& y
tf.nn.relu( features, name= None )
; o; o. n' l2 F) U% K7 X6 h
2 D1 R+ o/ y9 q' i6 o与Sigmoid/tanh函数相比,ReLu激活函数的优点是:
# S. W- R+ S* B2 X$ k$ K/ F
1 ?7 ^- ~8 j8 r- e- t, H- f 使用梯度下降(GD)法时,收敛速度更快  7 a0 m/ U* C6 M! g/ T
相比Relu只需要一个门限值,即可以得到激活值,计算速度更快  6 Z/ p. T  i5 ?2 t$ |( t- @9 ~, T7 n
缺点是:  Relu的输入值为负的时候,输出始终为0,其一阶导数也始终为0,这样会导致神经元不能更新参数,也就是神经元不学习了,这种现象叫做“Dead Neuron”。3 F8 ~' s* y/ g( c6 S5 G
, |' u! Y! d2 S- M. M' P- C
为了解决Relu函数这个缺点,在Relu函数的负半区间引入一个泄露(Leaky)值,所以称为Leaky Relu函数。4 ^. [7 ], U. q
7 Y; @/ V9 \, Z: ~0 D5 n% G
(6)Leaky Relu  (带泄漏单元的relu )
: D2 T; S8 ~0 C  b9 ?
7 m# _9 G" t( x' @0 X           数学表达式: y = max(0, x) + leak*min(0,x)
0 T0 k; b) t; b# s2 H
; h9 t' F5 q/ T5 S2 @与 ReLu 相比 ,leak 给所有负值赋予一个非零斜率,  leak是一个很小的常数  ,这样保留了一些负轴的值,使得负轴的信息不会全部丢失)6 M& w# R" {5 ]' E

3 p1 Y0 b& _" o3 y" z5 U+ F* w: N
* ]' Y+ i3 j6 Nleaky ReLU  P& O% A& V* t: B* N8 I$ e
; {" z, W: c9 p6 a  Q

* a9 _4 d$ G) ]3 z; g7 f
# Q" b9 q% ~9 `- {: G2 }( U4 Y& v# S( R3 ]2 c: h7 a
#leakyRelu在tennsorflow中的简单实现
- }# }$ |$ a6 W tf.maximum(leak * x, x),
% p# I0 f0 \/ [) T6 G2 a) k, A+ B' b) w: U
6 O3 Y, u0 H% ]7 c) o
比较高效的写法为:
8 d% S, s, o+ N- V) l3 R, m# y% u! j! E3 D9 j/ p
import tensorflow as tf
7 n  @1 I$ h) t1 @def LeakyReLU(x,leak=0.2,name="LeakyReLU"):
- T5 E" z( ^1 R  [    with tf.variable_scope(name):
3 J  }: @8 G0 C4 p2 b" F        f1 = 0.5*(1 + leak)
' n# k0 j2 {: E# f9 r' Z0 Z( T        f2 = 0.5*(1 - leak)
9 A5 K/ y) P4 f# W        return f1*x+f2*tf.abs(x)
. {# {( o0 ?" B  M( K; k* ~2 ^: l# C5 L7 g, H1 m
(vi)  RReLU【随机ReLU】
+ L$ Z0 w9 j% q$ w( R* }/ S3 Y$ y3 o/ |
在训练时使用RReLU作为激活函数,则需要从均匀分布U(I,u)中随机抽取的一个数值 ,作为负值的斜率。- \- b+ H  s' t# z  L
1 V5 x' h& G! Y8 |9 k  G
% W, E2 n7 z) y  b

# a; L$ J7 d8 a* x7 |8 \2 [/ Y总结:    激活函数可以分为 两大类 8 p! k5 m3 b! [- m* i% J
( k3 X2 M! _, {
饱和激活函数: sigmoid、 tanh
! N+ ~* m9 {% h# S9 g非饱和激活函数: ReLU 、Leaky Relu   、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】
+ V6 d/ G4 e1 A
; y- d! M/ Y6 X& W: g% m7 i1 X' n, f

5 w, t1 v, ~0 D- o) f. N; e/ M相对于饱和激活函数,使用“非饱和激活函数”的优势在于两点:
" Q+ u/ a8 e  I7 z* Y+ {    1.首先,“非饱和激活函数”能解决深度神经网络【层数非常多!!】的“梯度消失”问题,浅层网络【三五层那种】才用sigmoid 作为激活函数。* u7 ]4 E& V/ f) O% t% N
    2.其次,它能加快收敛速度。
! e3 j/ h4 d$ B- _8 d
( q. `* s. Y* F2 h其它激活函数:softplus、softsign6 X& Z/ B. }$ F
6 x2 Q6 B, P! j$ n9 z7 N

2 Z2 a) Y9 T+ s$ {- T- \$ p
6 |$ R  w7 J' eMatlab 中的激活(传递)函数  ^! h! H  u4 W9 f
+ W& j. L5 B; ~0 b
! @$ D' S) u  W0 Z1 \! e
% `% g/ O7 k* ?3 s, t: X
: y( c1 [* O* p. {4 y5 Q
4 Q- ]8 X, y( o
1.2  网络结构及工作方式
6 e2 c6 j1 ?! @( u! t" ` 除单元特性外,网络的拓扑结构也是 NN 的一个重要特性。从连接方式看 NN 主要 有两种。
5 C! G) g" Q, T
: N3 I- }# Y4 E& I( v1 V, ?& ](i)前馈型网络 各神经元接受前一层的输入,并输出给下一层,没有反馈。结点分为两类,即输入 单元和计算单元,每一计算单元可有任意个输入,但只有一个输出(它可耦合到任意多 个其它结点作为其输入)。通常前馈网络可分为不同的层,第i层的输入只与第 1 −i 层 输出相连,输入和输出结点与外界相连,而其它中间层则称为隐层。
" u7 T4 j: n/ _0 y/ K
& Q7 R7 w# s: a; L% ]+ y% @& a# ]4 e(ii)反馈型网络 所有结点都是计算单元,同时也可接受输入,并向外界输出。 NN 的工作过程主要分为两个阶段:第一个阶段是学习期,此时各计算单元状态不 变,各连线上的权值可通过学习来修改;第二阶段是工作期,此时各连接权固定,计算 单元状态变化,以达到某种稳定状态。 从作用效果看,前馈网络主要是函数映射,可用于模式识别和函数逼近。反馈网络 按对能量函数的极小点的利用来分类有两种:第一类是能量函数的所有极小点都起作 用,这一类主要用作各种联想存储器;第二类只利用全局极小点,它主要用于求解优化问题。
- [+ p, |; w* g& M& J  o
7 P. U, n' A: X' |* M9 \. E2  蠓虫分类问题与多层前馈网络
* |( B: p6 }" ~; w2.1  蠓虫分类问题 1 r, h4 t9 i5 j. k- g9 g
蠓虫分类问题可概括叙述如下:生物学家试图对两种蠓虫(Af 与 Apf)进行鉴别, 依据的资料是触角和翅膀的长度,已经测得了 9 支 Af 和 6 支 Apf 的数据如下:& c0 G3 _+ m  ~- B; L5 E: s$ E

3 ~3 F  x2 w" r/ j+ Q( K! a+ q+ IAf: (1.24,1.27),(1.36,1.74),(1.38,1.64),(1.38,1.82),(1.38,1.90),(1.40,1.70), (1.48,1.82),(1.54,1.82),(1.56,2.08).: p" T; J# g# P2 X: \

: I9 M( M. A( N+ xApf: (1.14,1.82),(1.18,1.96),(1.20,1.86),(1.26,2.00),(1.28,2.00),(1.30,1.96).4 J" S4 m/ o! {

+ n, ~5 W3 L2 K现在的问题是:! e! Q9 ?9 W* V( o
' i! n6 v' z/ j7 P% b$ s$ J2 o
(i)根据如上资料,如何制定一种方法,正确地区分两类蠓虫。. z5 e1 Q  G; k2 a& K

8 }# W4 p: g( B(ii)对触角和翼长分别为(1.24,1.80),(1.28,1.84)与(1.40,2.04)的 3 个标本,用所得 到的方法加以识别。
: j4 Q7 T3 D0 f& Y& C7 r7 z, x: [: L; L: G+ N. m
(iii)设 Af 是宝贵的传粉益虫,Apf 是某疾病的载体,是否应该修改分类方法。1 k, \( A# J- r3 t6 H  H! V5 L8 _

9 d3 k1 D- U  q  q0 Z; E如上的问题是有代表性的,它的特点是要求依据已知资料(9 支 Af 的数据和 6 支 Apf 的数据)制定一种分类方法,类别是已经给定的(Af 或 Apf)。今后,我们将 9 支Af 及 6 支 Apf 的数据集合称之为学习样本。 9 H& e& z% U( J4 m. S5 q* D9 `

/ f5 I9 J' \  g! F  M9 S& u2.2  多层前馈网络
4 L6 C6 q2 g  g1 X% F' S9 r为解决上述问题,考虑一个其结构如下图所示的人工神经网络,
! b2 w9 ^- ]3 h5 K& B6 {  b/ m1 N: d! G- n
9 _/ u2 s( ?4 L5 F

( F( |+ j& i- W1 f) Z' m' A/ T* {! ]  W% k  }- y7 @+ a  m
使用sigmoid 激活函数:
; v5 {# S3 d$ E" s/ s
* n6 |( H( ^3 e8 |/ {4 Q; |6 b. B2 V  g
! O) F& e- V! c" {1 l2 Z$ O& S3 z
图中下面单元,即由   所示的一层称为输入层,用以输入已知测量值。在 我们的例子中,它只需包括两个单元,一个用以输入触角长度,一个用以输入翅膀长度。 中间一层称为处理层或隐单元层,单元个数适当选取,对于它的选取方法,有一些文献 进行了讨论,但通过试验来决定,或许是好的途径。在我们的例子中,取三个就足够 了。上面一层称为输出层,在我们的例子中只包含二个单元,用以输出与每一组输入 数据相对应的分类信息.任何一个中间层单元接受所有输入单元传来的信号,并把处理 后的结果传向每一个输出单元,供输出层再次加工,同层的神经元彼此不相联接,输入 与输出单元之间也没有直接联接。这样,除了神经元的形式定义外,我们又给出了网络 结构。有些文献将这样的网络称为两层前馈网络,称为两层的理由是,只有中间层及输 出层的单元才对信号进行处理;输入层的单元对输入数据没有任何加工,故不计算在层 数之内。
6 g& \7 x, [* q1 J8 R) s# B
3 w) f. E  \0 W# k7 s7 _' x* r( s2 m# l0 B) d4 L* h, n

2 u+ _9 H; _" [% _' m- M
$ W5 B9 h! g# T' {, T& p! a) ~0 D7 t) x5 p. l& a9 V8 b
2.3  后向传播算法; M" Z& W  H6 @& h3 E7 X
对于一个多层网络,如何求得一组恰当的权值,使网络具有特定的功能,在很长一 段时间内,曾经是使研究工作者感到困难的一个问题,直到 1985 年,美国加州大学的 一个研究小组提出了所谓反向传播算法(Back-Propagation),使问题有了重大进展,这 一算法也是促成人工神经网络研究迅猛发展的一个原因。详细了解请看: 一文弄懂神经网络中的BP反向传播算法5 x" E3 i+ `) z, T
' O* n" B: z/ z0 U& O
下面就来介绍这一算法。【注:梯度法又称最速下降法。】  ]8 ^9 t: \/ h- t# s9 j

! Y: ^- }# m2 L! {8 S/ g$ D/ T  C2 G3 ~6 k1 q  f

  n' C3 _' {) Z4 |3 b; T0 x& O% j! {- P
+ m/ g' Q, z- I5 b! K" \% q% O

1 l* P) p/ S2 R* Q/ T1 k" ]! }" q6 e

7 O2 W4 n: H$ U! O. V  X
  M; e( D( g. O: c(iii)在如上的讨论中使用的是速下降法,显然,这也不是唯一的选择,其它的 非线性优化方法,诸如共轭梯度法,拟牛顿法等,都可用于计算。为了加速算法的收敛 速度,还可以考虑各种不同的修正方式。
  w- H; [, y7 F1 C1 W" P$ N( |- I4 l; b3 G* u8 s
(iv)BP 算法的出现,虽然对人工神经网络的发展起了重大推动作用,但是这一 算法仍有很多问题.对于一个大的网络系统,BP 算法的工作量仍然是十分可观的,这 主要在于算法的收敛速度很慢。更为严重的是,此处所讨论的是非线性函数的优化,那 么它就无法逃脱该类问题的共同困难:BP 算法所求得的解,只能保证是依赖于初值选 取的局部极小点。为克服这一缺陷,可以考虑改进方法,例如模拟退火算法,或从多个随机选定的初值点出发,进行多次计算,但这些方法都不可避免地加大了工作量。 1 }' R; r9 _8 z' M8 H% E
5 ]( J% [/ q3 o- t
2.4  蠓虫分类问题的求解 ! m$ p* k6 `$ [7 S) y8 p
下面利用上文所叙述的网络结构及方法,对蠓虫分类问题求解。编写 Matlab 程序 如下:! A8 F" Y/ _6 L3 D- _3 [

4 \8 [6 z1 l7 ?) Eclear
- }* x+ _3 W9 ip1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;6 u& L" X1 Y. d
    1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08]; " \2 A, M0 @% w" K0 v
p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00    $ X' i6 p& ^' s4 ]2 b* X' a+ I4 y
    1.28,2.00;1.30,1.96]; p=[p1;p2]'; pr=minmax(p); , D0 r/ j3 X+ q/ R9 D+ u# |
goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)]; ( {; g" y+ f4 k) A/ G! @, ~
plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o') ( P. w0 n2 I" _
net=newff(pr,[3,2],{'logsig','logsig'});
3 V5 ^6 R0 o1 [; N% }) i4 |net.trainParam.show = 10; 2 S0 T  S# k) g5 p( {
net.trainParam.lr = 0.05; 0 {+ I8 \! w% b& L4 X
net.trainParam.goal = 1e-10;
) U$ o9 D3 Z% V% b' W& S9 Q3 unet.trainParam.epochs = 50000;
# z! `3 g" X4 A; ^; L6 U% _3 ^' ?net = train(net,p,goal); ; r8 y- S7 l( G- ]# C  g$ T
x=[1.24 1.80;1.28 1.84;1.40 2.04]'; 2 D' O9 V6 m6 q5 X4 p+ D
y0=sim(net,p)
/ o& t! ?9 s5 y) o. u# s% x: [6 p2 Xy=sim(net,x)
' b3 l1 o; A6 p
) z% c; U; ~% H9 m1 b% h2 N
2 Y4 f$ p' p; S5 d3 @+ h5 f* a+ _1 b+ N6 Y* t4 H: k& K" M$ p( z
3  处理蠓虫分类的另一种网络方法
9 N8 Q! n3 [( z( [: k4 g8 L3.1 几个有关概念/ h1 b3 F! m! m" d5 ]2 K/ x
在介绍本节主要内容之前,首先说明几个不同的概念。在上一节中,我们把利用 BP 算法确定联接强度,即权值的过程称为“学习过程”,这种学习的特点是,对任何一 个输入样品,其类别事先是已知的,理想输出也已事先规定,因而从它所产生的实际输 出与理想输出的异同,我们清楚地知道网络判断正确与否,故此把这一类学习称为有监督学习;与它不同的是,有些情况下学习是无监督的,例如,我们试图把一组样品按其本身特点分类,所要划分的类别是事先未知的,需要网络自身通过学习来决定, 因而,在学习过程中,对每一输入所产生的输出也就无所谓对错,对于这样的情况,显 然 BP 算法是不适用的。 另一个有关概念是所谓有竞争的学习。在上节所讨论的蠓虫分类网络中,尽管我们 所希望的理想输出是 (0,1)或(1,0),但实际输出并不如此,一般而言,两个输出单元均同时不为 0。与此不同,我们完全可以设想另外一种输出模式:对应任何一组输入,所 有输出单元中,只允许有一个处于激发态,即取值为 1,其它输出单元均被抑制,即取 值为 0。一种形象的说法是,对应任何一组输入,要求所有的输出单元彼此竞争,唯一 的胜利者赢得一切,失败者一无所获,形成这样一种输出机制的网络学习过程,称为有 竞争的学习。& K* u8 K8 m" P' |% d1 @

; E2 e' H4 `. O# X5 V3.2  简单的无监督有竞争的学习* T0 }1 A+ Z* _: a
7 J/ |  ?5 P$ j+ p" [5 O
本节叙述一种无监督有竞争的网络学习方法,由此产生的网络可用来将一组输入样 品自动划分类别,相似的样品归于同一类别,因而激发同一输出单元,这一分类方式, 是网络自身通过学习,从输入数据的关系中得出的。 蠓虫分类问题对应有监督的网络学习过程,显然不能由如上的方法来解决。但在这 种无监督有竞争的学习阐明之后,很容易从中导出一种适用于有监督情况的网络方法; 此外,本节所介绍的网络,在数据压缩等多种领域,都有其重要应用。 $ Q# j- n0 y0 ^6 u, Y% S5 F6 k2 E# {" `
" p9 ?8 c* b2 e% j; s" e
6 e* U( N6 D; u7 e( W# i7 e' b

8 N' O# P$ e2 }0 p7 R$ ~/ _" r  X; L5 l( P3 @, i7 E
  a8 S* x" [2 \3 U3 `# \6 t5 J( |3 L
9 {, e6 R* |9 ~7 E
% }5 b" L. I* B. B5 E# \
为了更有效地使用如上算法,下面对实际计算时可能产生的问题,作一些简要说明。
$ X0 h' `) Z$ i6 T7 r7 O% O
! u  b) I# p" E+ Z9 h& [7 n 首先,如果初始权选择不当,那么可能出现这样的输出单元,它的权远离任何输入 向量,因此,永远不会成为优胜者,相应的权也就永远不会得到修正,这样的单元称之 为死单元。为避免出现死单元,可以有多种方法。一种办法是初始权从学习样本中抽样 选取,这就保证了它们都落在正确范围内;另一种办法是修正上述的学习算法,使得每 一步不仅调整优胜者的权,同时也以一个小得多的 η 值,修正所有其它的权。这样,对 于总是失败的单元,其权逐渐地朝着平均输入方向运动,终也会在某一次竞争中取胜。 此外,还存在有多种处理死单元的方法,感兴趣的读者可从文献中找到更多的方法。 * W% N2 u" W4 j7 Z* g$ G# E

) r$ X: Q5 q; P/ f
+ F( |7 U& G  |# h4 N* {
% A% b# }$ O8 V0 x' U7 B6 |$ k- Q4 Z" O9 C1 [0 r, X

3 r$ n1 {9 O7 j! F, k3.3  LVQ 方法 --学习矢量量化
, f2 s* L8 ?/ ~" y
2 S8 W# K' I  \; I( E  }上述有竞争学习的一个重要应用是数据压缩中的向量量子化方法(Vector Quantization,又称,学习矢量量化)。它的基本想法是,把一个给定的输入向量集合   分成M 个类别,然后 用类别指标来代表所有属于该类的向量。向量分量通常取连续值,一旦一组适当的类别确定之后,代替传输或存储输入向量本身,可以只传输或存储它的类别指标。所有的类别由M 个所谓“原型向量”来表示,我们可以利用一般的欧氏距离,对每一个输入向量找到靠近的原型向量,作为它的类别。显然,这种分类方法可以通过有竞争的学习直接得到。一旦学习过程结束,所有权向量的集合,便构成了一个“电码本”。8 {: ~4 C! g' q0 Q1 L& s* l6 N

' m6 r5 S+ I2 }9 \一般而言,上述无监督有竞争的学习,实际提供了一种聚类分析方法,对如蠓虫分类这种有监督的问题并不适用。1989 年,Kohonen 对向量量子化方法加以修改,提出 了一种适用于有监督情况的学习方法,称为学习向量量子化(Learning Vector Quantization),该方法可用于蠓虫分类问题。在有监督的情况下,学习样品的类别是事 先已知的,与此相应,每个输出单元所对应的类别也事先作了规定,但是,代表同一类 别的输出单元可以不止一个。 ) b6 a7 F! C. p# V/ |, o2 \
5 B8 o# {+ [8 t- G% J

. m+ O1 Z9 }% s5 e& B' `3 k1 F0 f
- N5 o# B* }8 h前一种情况,修正和无监督的学习一致,权朝向样本方向移动一小段距离;后一种 则相反,权向离开样本方向移动,这样就减少了错误分类的机会。 对于上述的蠓虫分类问题,我们编写 Matlab 程序如下:
' I3 x7 K& L' S( e* uclear
* a5 L) H8 `2 a  ]. rp1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;
4 O+ S$ k3 p0 v    1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08]; 0 B/ G1 J/ S- M. A- f  R
p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00  
2 n, o- I* T* O6 h% y1 p    1.28,2.00;1.30,1.96]; 5 s. c9 Z1 X7 W9 j: N) _
p=[p1;p2]'
( S% W% O! D& R, Q/ t. ppr=minmax(p)
+ Q3 Y" @0 v0 \' c9 a/ }goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)]
. d1 E& [5 m; ~4 `) V0 onet = newlvq(pr,4,[0.6,0.4])
+ {! M; w4 K! p9 W( y8 _- X4 Rnet = train(net,p,goal)
3 @  ?4 [6 I/ e" b4 A+ a# iY = sim(net,p)
7 ^7 P: r' S. _# hx=[1.24 1.80;1.28 1.84;1.40 2.04]' ! w& R* ^6 A( k6 o
sim(net,x)
/ i+ A2 I/ I4 a: f8 C# B4 l% s4 N
- ?+ }" t* c2 ~- M* ?习 题 # [3 B5 s2 d( ~$ a$ m0 P% m
1. 利用 BP 算法及 sigmoid 函数,研究以下各函数的逼近问题
- y' C& t- Z% T! N7 \5 i" Z
/ S" G! ]) H2 f% i, {/ ^
0 F5 p+ P2 H1 p! G3 l7 M
% a/ {1 {7 J  O* E  d对每一函数要完成如下工作:9 m, o8 s8 i; o. y7 @. U% S1 m
3 X3 P6 n3 e+ m) L% E& j( A, q/ I
① 获取两组数据,一组作为训练集,一组作为测试集;" i* `5 A' p* {; y- x5 n, l2 I

0 D, k( Z$ a, D' G' h2 z9 v② 利用训练集训练一个单隐层的网络;用测试集检验训练结果,改变隐层单元数, 研究它对逼近效果的影响。
/ b6 {% ~- q1 P& r5 N: I) d4 `7 o3 g; E0 P* q' q) _
2. 给定待拟合的曲线形式为
* ~0 `; V: W8 j9 k
! s+ j& v' N3 V! G & c6 L; ~  H& B" i- j, G" j, D

7 w6 K" d0 g$ P  ~在  上等间隔取 11 个点的数据,在此数据的输出值上加均值为 0,均方差  σ = 0.05 的正态分布噪声作为给定训练数据,用多项式拟合此函数,分别取多项式的阶次为 1, 3 和 11 阶,图示出拟合结果,并讨论多项式阶次对拟合结果的影响。& x: x2 T% D- A" O& L" `4 |

7 Y- a" Z- I+ X+ K$ l/ X2 h0 u
9 L4 E: P0 ~& n8 |
, e, G5 }! ~& Y- d/ G% Q
/ G  T% i$ o9 e" i% I8 P! R
5 X) K" Z; p* `+ Z, d- O( F$ v6 y* r4 C
————————————————
5 |: e5 k% j7 w版权声明:本文为CSDN博主「wamg潇潇」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
  H( c; m. i" E3 \& K原文链接:https://blog.csdn.net/qq_29831163/article/details/89509279
8 w" ]  v0 |0 }, _; C) Q9 L0 _- `& m; c! H/ A, c7 y

; I* P* u: M; i9 ^* s+ z% g: k




欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5