数学建模社区-数学中国

标题: 神经网络模型用于数学建模 [打印本页]

作者: 浅夏110    时间: 2020-6-4 11:24
标题: 神经网络模型用于数学建模
人工神经网络是在现代神经科学的基础上提出和发展起来的,旨在反映人脑结构及 功能的一种抽象数学模型。自 1943 年美国心理学家 W. McCulloch 和数学家 W. Pitts 提 出形式神经元的抽象数学模型—MP 模型以来,人工神经网络理论技术经过了 50 多年 曲折的发展。特别是 20 世纪 80 年代,人工神经网络的研究取得了重大进展,有关的理 论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。 它在模式识别,图像处理,智能控制,组合优化,金融预测与管理,通信,机器人以及 专家系统等领域得到广泛的应用,提出了 40 多种神经网络模型,其中比较著名的有感 知机,Hopfield 网络,Boltzman 机,自适应共振理论及反向传播网络(BP)等。在这 里我们仅讨论基本的网络模型及其学习算法。
. M  d; C  B  o2 F3 ]: a6 ]
$ J5 S/ C7 m, Z9 F; H. G9 [" |6 W1.1  人工神经元结构
- |& D; b; E6 y0 L. t9 y3 U下图表示出了作为人工神经网络(artificial neural network,以下简称 NN)的基本 单元的神经元模型,它有三个基本要素: ) q2 `) ^/ n( I, j' w
" l, |/ Z& _  c' U

) G" r* Z: z6 h; B3 g2 j5 r. E& T! r& W
3 Z; M9 H6 s& m
7 ^4 ~) K8 X, d$ |5 T- ^2 \2 a

' Z+ X* \; L2 M3 t+ O2 y0 o
( j: ?/ S- z- w% V$ [- a4 T, h9 t# o$ T* C9 g$ [" q7 q! e, ?

( O# ^3 |8 i0 s激活函数  ϕ(⋅ ) 5 ~6 d8 @9 {% P- G1 U8 `
可以有以下几种:
% m7 L6 ?$ Y9 v* Z/ n& K# T4 s9 t5 I1 n5 I' G5 B
(0)Softmax - 用于多分类神经网络输出" U" q4 b) L! P; P$ l1 A( V

' \9 J1 i3 y1 b8 O
3 J) Y! W" L; E1 e4 |0 j% ^7 j' u: P
(1)阈值函数 、阶梯函数1 k, b2 V: P/ x/ l) I1 F! o

; z: u% s' C+ b  y- f3 P( a; K9 K* r$ m7 E1 _
! S6 A: g; x: F9 A0 k. {
相应的输出   为 - H- ^6 r: Y5 _

# X2 m( ?* E9 Z1 S/ M) ?7 X: V5 {" D/ m( g: R* u$ p( f; [, L2 `

) i! V5 v( N2 E/ y! E. j& A7 J(2)分段线性函数
& \4 V7 w% K. l2 |- J2 E4 f" P3 w" n1 ?; V& F5 @, |: \$ x& H
/ c+ R8 U# e6 g
; E" t7 b) s* D# Z% ^& u
它类似于一个放大系数为 1 的非线性放大器,当工作于线性区时它是一个线性组合器, 放大系数趋于无穷大时变成一个阈值单元。
1 \4 z- I- ]9 ?8 G: ?6 O
7 p8 X! s' }& u8 i4 {0 [6 V0 E(3)sigmoid 函数 (以前最常用) 9 ]1 w: ]* F1 T$ h. x' Z3 Y, E
  K2 Q) D" ]- z9 a

' C0 Z4 m: [( W& W, X$ w0 t
4 `4 b' [$ T4 V4 v参数  α  > 0 可控制其斜率。 sigmoid 将一个实值输入压缩至[0,1]的范围,也可用于二分类的输出层。
% M- k- x. M' v# W  I" a
3 ^9 {$ P3 P' I& ~(4)tanh  (双曲正切函数 ;Hyperbolic tangent function) ! O* R0 u- P  l; a0 P

: ~- E6 m* B; }5 F- y) H) i9 ]1 u
+ D# K' u0 G5 \: c
5 n) O  f; O- [0 C 将 一个实值输入压缩至 [-1, 1]的范围,这类函数具有平滑和渐近性,并保持单调性.6 E4 V: o3 J, T. S
* o5 _% W# n8 _/ |9 j4 E  e! h3 ~5 i

) Q: c/ G9 S) c) G3 O  b% n# ], v" ^6 y; `( J
(5)  relu (Rectified linear unit; 修正线性单元 ; 深度学习目前最常用的激活函数)
) U* R+ A& [' o, ~5 T9 t5 y0 n3 A

. `% X8 l+ j, T1 W4 U/ H- q/ T+ ~
3 r- l8 T  a5 g. F4 m9 {2 ?! x
# Relu在tensorflow中的实现: 直接调用函数
# b: x5 G' ~$ E1 B' U4 X' _tf.nn.relu( features, name= None )
- O: n5 a& L3 e$ u9 S: ]
, X) R( [" g' `' S( F6 }, V与Sigmoid/tanh函数相比,ReLu激活函数的优点是:6 y& ~* t6 o' J# }
4 B* [1 {4 E2 f# v4 K
使用梯度下降(GD)法时,收敛速度更快  6 `$ E8 O4 S% B# j% F/ p
相比Relu只需要一个门限值,即可以得到激活值,计算速度更快  
; m1 w0 l* W9 j  s 缺点是:  Relu的输入值为负的时候,输出始终为0,其一阶导数也始终为0,这样会导致神经元不能更新参数,也就是神经元不学习了,这种现象叫做“Dead Neuron”。
( S! P& n( b1 M* m% N
- H, b7 A4 X9 X4 Q2 d5 I- W 为了解决Relu函数这个缺点,在Relu函数的负半区间引入一个泄露(Leaky)值,所以称为Leaky Relu函数。
. {' j$ ^/ `- [; n2 l' h8 t+ N8 S: T5 f' M
(6)Leaky Relu  (带泄漏单元的relu )
4 C# E1 I: {4 \8 I
3 I% B" b/ U: x5 N5 ]8 {7 s           数学表达式: y = max(0, x) + leak*min(0,x) $ i/ b9 g6 z. a$ [. a! r
; Z( @& ~5 q4 j3 v! c0 }3 v! y% w  H
与 ReLu 相比 ,leak 给所有负值赋予一个非零斜率,  leak是一个很小的常数  ,这样保留了一些负轴的值,使得负轴的信息不会全部丢失)8 o0 |" ]8 I: t1 E1 Y
5 ?2 V( N1 t. s. z4 q

2 n6 O( H! h) l8 Pleaky ReLU
' D, E& Q7 q  h7 N( J
5 k" t0 d9 }$ r! @$ N
  _. n3 I7 e8 [, h8 x( M4 L5 r6 ?1 k9 Y- i5 k0 Z5 z
' q9 `8 b$ a+ i3 q
#leakyRelu在tennsorflow中的简单实现2 D9 L; ^1 S( v" H; f1 \4 }
tf.maximum(leak * x, x),
) g' m+ \4 J( z. @. y4 K
# S8 J+ J, Q( J- X5 Q9 b- j+ Q
) V( z- Z% _6 Z2 @5 G. b9 H 比较高效的写法为:
: v6 p# I  J3 f( d) ^
$ G( H. q: R0 q5 h; p8 V& i/ ]import tensorflow as tf
& D* [2 m0 y# v# \def LeakyReLU(x,leak=0.2,name="LeakyReLU"):
) y6 L3 h. I% |, }0 a# t; Q& o0 R    with tf.variable_scope(name):
2 v9 Q0 B/ V0 y; P5 C        f1 = 0.5*(1 + leak)
5 k4 z; o( D8 S$ A/ C$ Q- W3 F        f2 = 0.5*(1 - leak)' L0 D( {5 @) F% G# E7 f" {3 P- U
        return f1*x+f2*tf.abs(x)( w0 K7 e9 c& U% k
+ O. \9 B' D, F! V/ c- W" ^
(vi)  RReLU【随机ReLU】& t6 n. }; k9 q1 s) m( J% j
& O4 [3 u: H* p2 G8 R% O) x
在训练时使用RReLU作为激活函数,则需要从均匀分布U(I,u)中随机抽取的一个数值 ,作为负值的斜率。
4 X; ^* c" U8 c3 D/ J9 G- I( N7 B. y
8 u) o/ h" \9 [

/ H4 U; S* p; X) F# b总结:    激活函数可以分为 两大类
- o5 C$ |0 q$ k8 l4 h, S; E6 ~+ G1 \, ?# x
饱和激活函数: sigmoid、 tanh0 m4 J6 e) V$ k) c
非饱和激活函数: ReLU 、Leaky Relu   、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】
* A" F( }. k8 v* J3 e7 P/ ~  [2 [% X6 c" |
; [( C8 s6 r7 R/ F  F
5 e3 f. h* ~# P2 I' X( d) R2 J, [
相对于饱和激活函数,使用“非饱和激活函数”的优势在于两点:) Z! h& u$ y7 l. E7 {# j) n2 L
    1.首先,“非饱和激活函数”能解决深度神经网络【层数非常多!!】的“梯度消失”问题,浅层网络【三五层那种】才用sigmoid 作为激活函数。
' ?4 x5 j- q  P6 m% p0 M/ w( |    2.其次,它能加快收敛速度。 ) r. r+ ]0 ]5 ~  M/ [- Q* c' s
! e: [' r! O. ?
其它激活函数:softplus、softsign
0 x6 o1 y$ K3 i2 L3 ~
" g) @' \5 W5 M) o3 w8 _. D
6 B/ x+ n! d& B/ I& p
0 ^" Z! v( |% v/ W8 x% b# u& J1 lMatlab 中的激活(传递)函数/ R1 K% X; e/ E

- H; }% ?0 D7 [, R  Z" z; Q( M. v/ E9 {, ?5 U* X
" g# Z4 _" T5 d# K! a; U

2 a1 v; y; [- N1 I3 H1 x5 A
3 R0 W0 @4 c  x) X; h1.2  网络结构及工作方式   }" ~( n, `3 o7 Z/ U: Y
除单元特性外,网络的拓扑结构也是 NN 的一个重要特性。从连接方式看 NN 主要 有两种。
+ T. \4 W0 {1 P6 T: z
9 s1 {! y, b* g) H0 o1 N0 l) q(i)前馈型网络 各神经元接受前一层的输入,并输出给下一层,没有反馈。结点分为两类,即输入 单元和计算单元,每一计算单元可有任意个输入,但只有一个输出(它可耦合到任意多 个其它结点作为其输入)。通常前馈网络可分为不同的层,第i层的输入只与第 1 −i 层 输出相连,输入和输出结点与外界相连,而其它中间层则称为隐层。  m1 f# r. C/ @4 |' n

; w+ D. F1 @) B(ii)反馈型网络 所有结点都是计算单元,同时也可接受输入,并向外界输出。 NN 的工作过程主要分为两个阶段:第一个阶段是学习期,此时各计算单元状态不 变,各连线上的权值可通过学习来修改;第二阶段是工作期,此时各连接权固定,计算 单元状态变化,以达到某种稳定状态。 从作用效果看,前馈网络主要是函数映射,可用于模式识别和函数逼近。反馈网络 按对能量函数的极小点的利用来分类有两种:第一类是能量函数的所有极小点都起作 用,这一类主要用作各种联想存储器;第二类只利用全局极小点,它主要用于求解优化问题。
4 h2 p5 B% [+ ~- x+ |1 G% G7 X" x: f
2  蠓虫分类问题与多层前馈网络
5 W" W$ ]% L$ Z2.1  蠓虫分类问题
- V% Y7 r% `  D. Y6 j; K" \! m蠓虫分类问题可概括叙述如下:生物学家试图对两种蠓虫(Af 与 Apf)进行鉴别, 依据的资料是触角和翅膀的长度,已经测得了 9 支 Af 和 6 支 Apf 的数据如下:: r: |( t/ ~) F$ |4 ]! j2 W
* x9 @  W% q9 X
Af: (1.24,1.27),(1.36,1.74),(1.38,1.64),(1.38,1.82),(1.38,1.90),(1.40,1.70), (1.48,1.82),(1.54,1.82),(1.56,2.08).8 i& C( k$ ]0 y3 U4 \5 H/ R" O

0 M/ z  h7 N$ x8 kApf: (1.14,1.82),(1.18,1.96),(1.20,1.86),(1.26,2.00),(1.28,2.00),(1.30,1.96).
5 O% |+ u- S6 t
$ |6 Z* g% S9 ]* V现在的问题是:: }$ q& `8 a% y/ F* J& Q$ [
9 L; F8 m: T6 E. s0 q* o( s' L0 u
(i)根据如上资料,如何制定一种方法,正确地区分两类蠓虫。
- o" r5 g' [3 Q9 N+ v/ l$ p# t; M/ v
. _# _. f, `6 m& I) z(ii)对触角和翼长分别为(1.24,1.80),(1.28,1.84)与(1.40,2.04)的 3 个标本,用所得 到的方法加以识别。4 n% s4 V3 y) a# r/ s* {' N

& H+ C/ F7 P+ `: g3 i. t(iii)设 Af 是宝贵的传粉益虫,Apf 是某疾病的载体,是否应该修改分类方法。" T5 }! I7 F4 e* g0 W

, M) F3 m1 r5 B5 K4 ^) Y如上的问题是有代表性的,它的特点是要求依据已知资料(9 支 Af 的数据和 6 支 Apf 的数据)制定一种分类方法,类别是已经给定的(Af 或 Apf)。今后,我们将 9 支Af 及 6 支 Apf 的数据集合称之为学习样本。 2 O( A3 v& n, \/ c/ j& ]) O5 Z
0 Z# {, i/ t; x! V& y" g8 v
2.2  多层前馈网络
, l! O' L8 q6 P: O9 K: N* j为解决上述问题,考虑一个其结构如下图所示的人工神经网络,
( `+ ]* P$ ?; r6 P* r; H2 _3 |* ^  V, G8 K6 s* g# \

" j6 `0 t6 ?  [! ~0 ?
( h9 E3 j7 u$ x% v+ A- e2 V& H! q' d8 W% k: G  @! S
使用sigmoid 激活函数:4 }4 Y2 K; ~  ~$ p

) J  U" ^. f* I# G3 m% O6 V' t! M* H" R
3 m! ?6 u% F. n, t/ ~
图中下面单元,即由   所示的一层称为输入层,用以输入已知测量值。在 我们的例子中,它只需包括两个单元,一个用以输入触角长度,一个用以输入翅膀长度。 中间一层称为处理层或隐单元层,单元个数适当选取,对于它的选取方法,有一些文献 进行了讨论,但通过试验来决定,或许是好的途径。在我们的例子中,取三个就足够 了。上面一层称为输出层,在我们的例子中只包含二个单元,用以输出与每一组输入 数据相对应的分类信息.任何一个中间层单元接受所有输入单元传来的信号,并把处理 后的结果传向每一个输出单元,供输出层再次加工,同层的神经元彼此不相联接,输入 与输出单元之间也没有直接联接。这样,除了神经元的形式定义外,我们又给出了网络 结构。有些文献将这样的网络称为两层前馈网络,称为两层的理由是,只有中间层及输 出层的单元才对信号进行处理;输入层的单元对输入数据没有任何加工,故不计算在层 数之内。: _0 @5 s4 Z. {$ E8 ~5 P0 J5 a3 E

; _( f& s, ]& r8 K/ x; d8 ?# T+ @: M( p2 @

. j, Z' \. \* M) k6 ^) D" w$ e* f5 O/ l! b$ g1 m4 r6 t" k

/ ?) e6 T. m2 d% R8 i# u2.3  后向传播算法
  ~' \8 P7 I& K0 Z" O/ w对于一个多层网络,如何求得一组恰当的权值,使网络具有特定的功能,在很长一 段时间内,曾经是使研究工作者感到困难的一个问题,直到 1985 年,美国加州大学的 一个研究小组提出了所谓反向传播算法(Back-Propagation),使问题有了重大进展,这 一算法也是促成人工神经网络研究迅猛发展的一个原因。详细了解请看: 一文弄懂神经网络中的BP反向传播算法
1 V3 p& M: w3 h) o6 ^. n. {* E1 ]& ~5 \* Q9 \+ x/ t& g
下面就来介绍这一算法。【注:梯度法又称最速下降法。】
) ?( @; ~8 S- A2 O9 G# v7 E2 V5 A3 J

  ~! X0 X; {3 R5 e# a/ O6 a$ |) o% D2 S1 Y( E
  q2 o9 y; I2 F3 `" [2 Z8 m
  D+ \1 m- m& f1 A" M
7 K$ r' N( H$ D
. y, y; B1 W( F, D, f. V3 a

- c" [  F. b  k0 ]- k3 I7 z2 b7 I8 @' i1 ^. m+ j
(iii)在如上的讨论中使用的是速下降法,显然,这也不是唯一的选择,其它的 非线性优化方法,诸如共轭梯度法,拟牛顿法等,都可用于计算。为了加速算法的收敛 速度,还可以考虑各种不同的修正方式。% d- u9 y" z% w) e  W/ p- s

# I/ C8 [) b) q4 w9 H- g9 w" o8 z(iv)BP 算法的出现,虽然对人工神经网络的发展起了重大推动作用,但是这一 算法仍有很多问题.对于一个大的网络系统,BP 算法的工作量仍然是十分可观的,这 主要在于算法的收敛速度很慢。更为严重的是,此处所讨论的是非线性函数的优化,那 么它就无法逃脱该类问题的共同困难:BP 算法所求得的解,只能保证是依赖于初值选 取的局部极小点。为克服这一缺陷,可以考虑改进方法,例如模拟退火算法,或从多个随机选定的初值点出发,进行多次计算,但这些方法都不可避免地加大了工作量。
" h4 z8 n3 w, x4 K( b& j! N
# |( d' _5 m+ B  h) r- y2.4  蠓虫分类问题的求解
+ h0 w% [+ k2 ~/ r下面利用上文所叙述的网络结构及方法,对蠓虫分类问题求解。编写 Matlab 程序 如下:
; f% q+ a7 Z% ~: v
' i6 u! ^' O3 i2 L0 C: eclear / p4 R  N. e* S( n4 \; ?
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;- W! S# I& H' v, u1 W1 z
    1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08]; 0 Q! T; C' j$ r( w  y1 O% k8 o
p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00   
# m  P  E8 u. C) Z5 z& o: g    1.28,2.00;1.30,1.96]; p=[p1;p2]'; pr=minmax(p);
. B, `! G/ F) m; J- P8 Zgoal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)]; & `- m. i$ D- z; d; W% S: H: E
plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o')
; X6 P8 `3 k! e6 u- |9 O% k, ]net=newff(pr,[3,2],{'logsig','logsig'}); : M1 [0 X4 Q$ f6 u% O
net.trainParam.show = 10; 8 w. r5 ?, O# a- G6 b2 P
net.trainParam.lr = 0.05; 7 U. a) B! g  g* U5 P# b- j" q5 T
net.trainParam.goal = 1e-10; 5 z6 V( [* Y1 N; h
net.trainParam.epochs = 50000; 5 T: {# f$ t8 r. O2 H: w4 d3 K# Q
net = train(net,p,goal); : u  Z, l- m" m
x=[1.24 1.80;1.28 1.84;1.40 2.04]';
. G% L: [' A6 m$ K& k3 sy0=sim(net,p)! k) `% {/ q* Z/ S# s5 ^# M
y=sim(net,x); ]) ~7 i5 s7 R5 [% S

3 |, @4 X; |1 ^7 k! C3 z: B9 K. r1 B2 p& n* v
9 y( H" R( p% ?
3  处理蠓虫分类的另一种网络方法 . I) G( }. O' J& ~. k
3.1 几个有关概念
/ W1 L$ J) Y# k0 l/ Y/ C在介绍本节主要内容之前,首先说明几个不同的概念。在上一节中,我们把利用 BP 算法确定联接强度,即权值的过程称为“学习过程”,这种学习的特点是,对任何一 个输入样品,其类别事先是已知的,理想输出也已事先规定,因而从它所产生的实际输 出与理想输出的异同,我们清楚地知道网络判断正确与否,故此把这一类学习称为有监督学习;与它不同的是,有些情况下学习是无监督的,例如,我们试图把一组样品按其本身特点分类,所要划分的类别是事先未知的,需要网络自身通过学习来决定, 因而,在学习过程中,对每一输入所产生的输出也就无所谓对错,对于这样的情况,显 然 BP 算法是不适用的。 另一个有关概念是所谓有竞争的学习。在上节所讨论的蠓虫分类网络中,尽管我们 所希望的理想输出是 (0,1)或(1,0),但实际输出并不如此,一般而言,两个输出单元均同时不为 0。与此不同,我们完全可以设想另外一种输出模式:对应任何一组输入,所 有输出单元中,只允许有一个处于激发态,即取值为 1,其它输出单元均被抑制,即取 值为 0。一种形象的说法是,对应任何一组输入,要求所有的输出单元彼此竞争,唯一 的胜利者赢得一切,失败者一无所获,形成这样一种输出机制的网络学习过程,称为有 竞争的学习。
6 j/ U. I% c$ S; U5 R: m% W3 }: Z" G+ @4 p/ B$ _
3.2  简单的无监督有竞争的学习) U( i$ @; i4 p$ w: Q

* p& T" J; k. e& K/ X本节叙述一种无监督有竞争的网络学习方法,由此产生的网络可用来将一组输入样 品自动划分类别,相似的样品归于同一类别,因而激发同一输出单元,这一分类方式, 是网络自身通过学习,从输入数据的关系中得出的。 蠓虫分类问题对应有监督的网络学习过程,显然不能由如上的方法来解决。但在这 种无监督有竞争的学习阐明之后,很容易从中导出一种适用于有监督情况的网络方法; 此外,本节所介绍的网络,在数据压缩等多种领域,都有其重要应用。
+ j( k& N, V' O4 N, ]6 j& S+ a& M, }6 K4 G/ c
& I: s' f: b# g3 q' U" `

6 o3 U' W2 R* o: O' M' \* \6 |% `  `) V1 c, y

/ V& r2 C/ @7 x* {- C' e' s, s# D" g  v5 v6 ^4 i3 s/ X

7 H+ r8 q$ d7 g  j为了更有效地使用如上算法,下面对实际计算时可能产生的问题,作一些简要说明。
1 V0 L; E# ~5 {' _: }7 Z/ G' g; t0 w) U. e- U0 p* H
首先,如果初始权选择不当,那么可能出现这样的输出单元,它的权远离任何输入 向量,因此,永远不会成为优胜者,相应的权也就永远不会得到修正,这样的单元称之 为死单元。为避免出现死单元,可以有多种方法。一种办法是初始权从学习样本中抽样 选取,这就保证了它们都落在正确范围内;另一种办法是修正上述的学习算法,使得每 一步不仅调整优胜者的权,同时也以一个小得多的 η 值,修正所有其它的权。这样,对 于总是失败的单元,其权逐渐地朝着平均输入方向运动,终也会在某一次竞争中取胜。 此外,还存在有多种处理死单元的方法,感兴趣的读者可从文献中找到更多的方法。 * j' J$ L2 h, ]& Q! m9 Y

9 ?- E! i& f* k5 P& z- K7 i- J* ?( u

& A$ u" w2 a+ ?% A; N1 i5 _" ]! r. W
  p6 \5 P2 d" R' F
4 `$ j( R1 w' }# k/ \3.3  LVQ 方法 --学习矢量量化5 z6 C7 P& I/ z& M

# e5 A% m8 U! v6 G上述有竞争学习的一个重要应用是数据压缩中的向量量子化方法(Vector Quantization,又称,学习矢量量化)。它的基本想法是,把一个给定的输入向量集合   分成M 个类别,然后 用类别指标来代表所有属于该类的向量。向量分量通常取连续值,一旦一组适当的类别确定之后,代替传输或存储输入向量本身,可以只传输或存储它的类别指标。所有的类别由M 个所谓“原型向量”来表示,我们可以利用一般的欧氏距离,对每一个输入向量找到靠近的原型向量,作为它的类别。显然,这种分类方法可以通过有竞争的学习直接得到。一旦学习过程结束,所有权向量的集合,便构成了一个“电码本”。& J: o/ w+ ?( C. M* t
& G; u* _) C4 V
一般而言,上述无监督有竞争的学习,实际提供了一种聚类分析方法,对如蠓虫分类这种有监督的问题并不适用。1989 年,Kohonen 对向量量子化方法加以修改,提出 了一种适用于有监督情况的学习方法,称为学习向量量子化(Learning Vector Quantization),该方法可用于蠓虫分类问题。在有监督的情况下,学习样品的类别是事 先已知的,与此相应,每个输出单元所对应的类别也事先作了规定,但是,代表同一类 别的输出单元可以不止一个。 5 a3 q2 M1 F& Q
+ y8 K/ F7 X) m% |' X  `* @

# \+ i9 \. \/ U$ o  {3 R& Z0 z  f7 h) q% F0 _: V# D5 l
前一种情况,修正和无监督的学习一致,权朝向样本方向移动一小段距离;后一种 则相反,权向离开样本方向移动,这样就减少了错误分类的机会。 对于上述的蠓虫分类问题,我们编写 Matlab 程序如下:
+ P5 U! G& y9 T% ?: a" hclear
1 y7 _+ g; R# Rp1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;6 X. T4 c( @2 s0 w; f. `; C
    1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];
; E2 N- u  C% y& V4 q2 ip2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00  
- R9 {4 b: `1 J2 x0 p    1.28,2.00;1.30,1.96];
( P# c1 g5 S8 gp=[p1;p2]' + G& q& Z6 p7 t0 `/ N
pr=minmax(p)
% f3 ^' N2 I0 C+ L" ~goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)] # Y  e, N+ c9 K  ]
net = newlvq(pr,4,[0.6,0.4]) * o$ t6 p1 M6 c4 z- Q! x9 _
net = train(net,p,goal)
7 x" {3 l3 Y0 N' Q- ?$ bY = sim(net,p)
5 F) o& ?* E' ~& g+ ~/ zx=[1.24 1.80;1.28 1.84;1.40 2.04]' 5 g! w+ |% [9 f. ~; Z" [9 H: G, c) F* i
sim(net,x)
  f; G. E- a9 c( c) |4 s# p, B/ P% `, E) g) [: |3 c
习 题
) m8 {8 ^& m: u0 _1. 利用 BP 算法及 sigmoid 函数,研究以下各函数的逼近问题 . R: G: t- b# L! [

+ F# f% H# x% p0 H( e# G( M9 }0 P) f2 O# {4 L% Z

0 M8 }" Y' b6 @/ ]7 C9 t; m, l对每一函数要完成如下工作:
! L) o% d' ^0 Y& ]( S) Y, B; N' B" h- C6 `
① 获取两组数据,一组作为训练集,一组作为测试集;& A, F" A5 \& C( P

1 O( |% Y7 y- p1 D$ z! ^② 利用训练集训练一个单隐层的网络;用测试集检验训练结果,改变隐层单元数, 研究它对逼近效果的影响。 # W# O6 I; c% `# q0 s7 d

% ~$ T2 X& v: |# Q, M5 n2. 给定待拟合的曲线形式为
7 H" A- ]% s  B
0 ~# I8 y% {$ F7 i7 d
& U& p% I" M2 m" U" R# @
9 y# p' A9 d& f& k3 }在  上等间隔取 11 个点的数据,在此数据的输出值上加均值为 0,均方差  σ = 0.05 的正态分布噪声作为给定训练数据,用多项式拟合此函数,分别取多项式的阶次为 1, 3 和 11 阶,图示出拟合结果,并讨论多项式阶次对拟合结果的影响。8 D& Y) h2 p1 w7 d
3 t7 a+ b  N6 k
& }0 I7 M1 [' l1 |( Q' l" E( r
* w3 s: G7 R: h3 V4 z4 q; C$ L8 p
# k' t0 N' I* h( a; h
9 W2 d9 F$ W1 q3 Q' x7 |

2 n( @. t+ P/ V; `3 v# U/ ]————————————————! u/ Y" v& c; m" B
版权声明:本文为CSDN博主「wamg潇潇」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
4 ~1 q* H. b4 ^# i: P原文链接:https://blog.csdn.net/qq_29831163/article/details/89509279
5 n# A' {3 k$ }, m" D2 V
4 k( l4 m! B  z! d3 r/ K9 S: d5 g  l6 u2 X8 A1 e





欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5