QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 2615|回复: 0
打印 上一主题 下一主题

[建模教程] 神经网络模型用于数学建模

[复制链接]
字体大小: 正常 放大
浅夏110 实名认证       

542

主题

15

听众

1万

积分

  • TA的每日心情
    开心
    2020-11-14 17:15
  • 签到天数: 74 天

    [LV.6]常住居民II

    邮箱绑定达人

    群组2019美赛冲刺课程

    群组站长地区赛培训

    群组2019考研数学 桃子老师

    群组2018教师培训(呼伦贝

    群组2019考研数学 站长系列

    跳转到指定楼层
    1#
    发表于 2020-6-4 11:24 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta |邮箱已经成功绑定
    人工神经网络是在现代神经科学的基础上提出和发展起来的,旨在反映人脑结构及 功能的一种抽象数学模型。自 1943 年美国心理学家 W. McCulloch 和数学家 W. Pitts 提 出形式神经元的抽象数学模型—MP 模型以来,人工神经网络理论技术经过了 50 多年 曲折的发展。特别是 20 世纪 80 年代,人工神经网络的研究取得了重大进展,有关的理 论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。 它在模式识别,图像处理,智能控制,组合优化,金融预测与管理,通信,机器人以及 专家系统等领域得到广泛的应用,提出了 40 多种神经网络模型,其中比较著名的有感 知机,Hopfield 网络,Boltzman 机,自适应共振理论及反向传播网络(BP)等。在这 里我们仅讨论基本的网络模型及其学习算法。* a# H! ~  @2 z# _- }) h( y- a+ F3 u8 `
    . q4 g3 x( p- c; t6 |7 L7 [. f3 U( V
    1.1  人工神经元结构" U; S, m3 X2 E- B' ~' M" M; q
    下图表示出了作为人工神经网络(artificial neural network,以下简称 NN)的基本 单元的神经元模型,它有三个基本要素:
    # k5 S6 A8 F: I. i. d- u% ^- W) Q$ t) ]5 G! }

    . H7 o% i2 O8 U1 a% V# E: x
    $ r2 e2 R, C0 z& C/ S7 K
    8 m0 ~6 t7 ~3 h; S+ V" E( F/ S
    ; P7 S0 k8 y' V: A: X7 i+ ^
    - N4 A! X; O4 p- e( }- q2 r4 g0 x

    , V1 N+ _, O& H' J, H) F+ ~# l
    5 m8 E0 M4 c  V! A2 M+ c, t激活函数  ϕ(⋅ )
    ) b$ A9 m/ a( S( L. H3 ~可以有以下几种:
    ' A5 z+ A( F: J/ N
    0 U# ~5 j1 o4 H+ ?3 i; @- O (0)Softmax - 用于多分类神经网络输出8 Q+ P1 o) s* A; g; a

    ( Q" H! u' W% j3 }7 ?
    ! n3 B8 M. T$ }/ @3 V" T
    % U" Y; H! D" n8 }( e, e(1)阈值函数 、阶梯函数
    3 @, g3 `5 a1 \
    3 o) z8 Y! }$ ~! I0 ]- v! Z
    6 X( ?: E' K* g% E
    % ?* X& T1 f3 Z" Z) y相应的输出   为 , Z% F& [5 f$ S; w7 M8 g  E4 d

    ) ?& |2 G  `& ]; z2 J# w) X+ M, [, [2 S: b3 e/ S
    ( a4 F5 K  X! b! N* M
    (2)分段线性函数 3 z% h. G1 @2 u* a" t- B  H/ j

    + d/ h5 F1 t& u
    ; ?, T( B) r6 e) G% \  T4 x* `$ U" r+ p: q$ f) o* V( Z
    它类似于一个放大系数为 1 的非线性放大器,当工作于线性区时它是一个线性组合器, 放大系数趋于无穷大时变成一个阈值单元。 . y9 |# z, c. `: Q  y: f" X( z8 o

    8 q1 \  P, }3 A* w- J- O7 o(3)sigmoid 函数 (以前最常用) 7 g5 a9 V2 R# o; s* g

      y1 ~! P' v# V/ U" w  M
    1 S& K/ P7 i( l, h& @* Y! `# R- }, _$ U
    参数  α  > 0 可控制其斜率。 sigmoid 将一个实值输入压缩至[0,1]的范围,也可用于二分类的输出层。
    " {; U) F7 x+ N, g
    ) F) T- u4 k/ I5 I(4)tanh  (双曲正切函数 ;Hyperbolic tangent function)   @* u0 ]! M" D& Z; L: w4 U

    6 Z0 L  a+ m" I3 j# g; r+ K3 o# T# l- t2 N$ u
    ; [- y; Q/ y' B: v5 \& C
    将 一个实值输入压缩至 [-1, 1]的范围,这类函数具有平滑和渐近性,并保持单调性.: S& b* i, t# u

    / s) l# K# t# M, O+ G5 T5 |/ n- P; p6 H
    8 i0 l$ p: L; z
    (5)  relu (Rectified linear unit; 修正线性单元 ; 深度学习目前最常用的激活函数)
    ) t* n4 V8 g: m0 |  z: N* ~
    ) B# \  [, v# z5 c% o% ~6 d
    : M6 V4 z* [9 _$ ~
    2 O$ X) V/ p# s, v
    * ^/ E+ R7 }  d* _* g2 Z9 i2 ?# Relu在tensorflow中的实现: 直接调用函数 : S. W- d/ [2 d( q
    tf.nn.relu( features, name= None )
    " j( m, [: e( p. o% c; a$ j5 H# u" K- D6 k0 ]
    与Sigmoid/tanh函数相比,ReLu激活函数的优点是:
    & {9 Z5 v  B- s4 ~" q4 D6 H) P" u) R' {- U& D8 a
    使用梯度下降(GD)法时,收敛速度更快  
    6 F5 Q, X& I- g/ X- h% G相比Relu只需要一个门限值,即可以得到激活值,计算速度更快  3 M. S2 J# P, }" h) C; K
    缺点是:  Relu的输入值为负的时候,输出始终为0,其一阶导数也始终为0,这样会导致神经元不能更新参数,也就是神经元不学习了,这种现象叫做“Dead Neuron”。. p" ~& ?3 q3 O+ A

    1 b% l+ q0 Q) C5 o 为了解决Relu函数这个缺点,在Relu函数的负半区间引入一个泄露(Leaky)值,所以称为Leaky Relu函数。
    9 t+ @( q/ k$ a: J# K( h/ w9 U: v+ S8 E3 }/ J7 H
    (6)Leaky Relu  (带泄漏单元的relu )$ T3 W- ?4 P) X) H' a5 C8 s
    2 I: [5 [+ X4 o7 d
               数学表达式: y = max(0, x) + leak*min(0,x)
    % I- E6 q# c1 s: N8 x$ u: r8 n0 V7 [& U* O6 d
    与 ReLu 相比 ,leak 给所有负值赋予一个非零斜率,  leak是一个很小的常数  ,这样保留了一些负轴的值,使得负轴的信息不会全部丢失)
    . O4 ?+ t8 Q4 l( f
    2 b* {9 Y/ j! k) O" V
    ' W9 G/ c8 T" X3 @5 \1 o! Jleaky ReLU
    7 ~1 f$ t0 \% ~% E4 L) H  P+ w* L' Y7 R/ _% g
    # _; O6 E# V0 V8 F+ r; p
    2 S: K6 E6 y. l: @8 k, w' N% v

    $ R2 `) q- e. Q#leakyRelu在tennsorflow中的简单实现- ?( ^* m* z7 h! _6 t5 g- A2 n
    tf.maximum(leak * x, x),
    / e4 N4 @% q* a0 H
    ( G: ~- D( I7 c' ^5 t) W6 i8 A9 ^# L; T3 u0 Y; Q6 D
    比较高效的写法为:9 Q; }, s$ Y; J2 D
    1 {7 l+ T) N0 o6 u$ T  q9 B+ P
    import tensorflow as tf
    ; Q1 t( h( `' _& odef LeakyReLU(x,leak=0.2,name="LeakyReLU"):
    ! s* C& {* Z; E" [; r5 Q) w/ |    with tf.variable_scope(name):
    / J" y- S! I" U+ H        f1 = 0.5*(1 + leak)
    4 F1 g! c! e( A% n" |' R' ?        f2 = 0.5*(1 - leak)3 m* c0 a5 D& n* O0 |* X' ^: ]% B
            return f1*x+f2*tf.abs(x)3 E( M2 P2 V- U4 K. ~0 L

    $ m6 Y( }. W) c, j( m( r5 m(vi)  RReLU【随机ReLU】
    : p# Y! v0 b. s& f
    2 b- i& N( ^9 b在训练时使用RReLU作为激活函数,则需要从均匀分布U(I,u)中随机抽取的一个数值 ,作为负值的斜率。
    ; a' z' N! G8 R( W6 o% I
    / Q* `; y, G, }+ Q: O' \$ O
      Y8 i1 F; B% |& W% V) k; P' \3 e9 m5 O! E. D2 u$ t
    总结:    激活函数可以分为 两大类
    & R% u5 e" N' Z5 w! N) v* L
    / u6 H+ o/ H8 e/ O: }5 Y& ~饱和激活函数: sigmoid、 tanh/ E! |, H5 g" P+ R$ |
    非饱和激活函数: ReLU 、Leaky Relu   、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】
    7 c: W- Q7 e: N0 o
    - S+ B, T& u9 Z' ~. I
    1 Q: i( \  y( j  ]+ ^; i) R3 v+ J: R7 K: Z
    相对于饱和激活函数,使用“非饱和激活函数”的优势在于两点:$ U& k/ P# u, _2 m- a, f& z5 M
        1.首先,“非饱和激活函数”能解决深度神经网络【层数非常多!!】的“梯度消失”问题,浅层网络【三五层那种】才用sigmoid 作为激活函数。
    4 ?9 l9 x& o7 o4 F$ k    2.其次,它能加快收敛速度。 8 {. u" b) t6 y6 P1 ~

    & `+ N2 _* ]  n* E% B# C  Y其它激活函数:softplus、softsign
    $ K" D1 W, h* @( o& C* U0 B& F/ W8 k5 |7 r; C& z

    & G0 u9 j/ g4 s" y+ C- L& o8 j8 z* t. L0 B# ^' D
    Matlab 中的激活(传递)函数1 `! R: l% P& Q& ~' G

    8 f4 [, W, Y) F& S* [
    . N" }1 w, p7 t' A' ]6 P- M5 ^4 T0 O$ U
    8 i8 W) t7 s  |$ t% A

    ( ?+ I9 W; P& v$ f& N$ a1.2  网络结构及工作方式 " T4 H$ S/ B+ V8 e9 ]; V5 W2 l
    除单元特性外,网络的拓扑结构也是 NN 的一个重要特性。从连接方式看 NN 主要 有两种。
    * e0 j# A; ?2 u) k
      R. v0 x) d5 h: F$ x(i)前馈型网络 各神经元接受前一层的输入,并输出给下一层,没有反馈。结点分为两类,即输入 单元和计算单元,每一计算单元可有任意个输入,但只有一个输出(它可耦合到任意多 个其它结点作为其输入)。通常前馈网络可分为不同的层,第i层的输入只与第 1 −i 层 输出相连,输入和输出结点与外界相连,而其它中间层则称为隐层。* t. _, b, e  D
    ( a2 P4 I0 L0 |! }( z4 U
    (ii)反馈型网络 所有结点都是计算单元,同时也可接受输入,并向外界输出。 NN 的工作过程主要分为两个阶段:第一个阶段是学习期,此时各计算单元状态不 变,各连线上的权值可通过学习来修改;第二阶段是工作期,此时各连接权固定,计算 单元状态变化,以达到某种稳定状态。 从作用效果看,前馈网络主要是函数映射,可用于模式识别和函数逼近。反馈网络 按对能量函数的极小点的利用来分类有两种:第一类是能量函数的所有极小点都起作 用,这一类主要用作各种联想存储器;第二类只利用全局极小点,它主要用于求解优化问题。
    7 [9 c8 J- s7 }/ s  T5 T4 K5 L2 u5 m1 G1 H; I
    2  蠓虫分类问题与多层前馈网络
    % J9 S% _( S; i6 X3 [9 h2.1  蠓虫分类问题 6 D6 G+ T+ j8 F6 Y2 k( D8 r6 r8 W
    蠓虫分类问题可概括叙述如下:生物学家试图对两种蠓虫(Af 与 Apf)进行鉴别, 依据的资料是触角和翅膀的长度,已经测得了 9 支 Af 和 6 支 Apf 的数据如下:8 B! i3 C# q' Z) I$ a

    ' Z! y- @4 S* u% X1 X, `5 a' DAf: (1.24,1.27),(1.36,1.74),(1.38,1.64),(1.38,1.82),(1.38,1.90),(1.40,1.70), (1.48,1.82),(1.54,1.82),(1.56,2.08)./ b& v1 f3 i: a( O0 g5 c' e
    / I2 Y/ O2 y3 ^% }7 S
    Apf: (1.14,1.82),(1.18,1.96),(1.20,1.86),(1.26,2.00),(1.28,2.00),(1.30,1.96).
    ( F* y- D* x" P- g4 e4 h1 ]9 ~* q' w. Z. @$ g; K0 }; G9 _4 ^7 @
    现在的问题是:
    ; w6 F7 ~% u9 h3 J
    1 |" ?" P( w% q9 U3 I) E4 I(i)根据如上资料,如何制定一种方法,正确地区分两类蠓虫。
    & M1 H. o- a" K& [# V& H- v- @& Q, B# [0 g! @  G* q5 T  B  q  |( Q
    (ii)对触角和翼长分别为(1.24,1.80),(1.28,1.84)与(1.40,2.04)的 3 个标本,用所得 到的方法加以识别。
    # M1 _# F9 E: o+ m; A" |# G
    5 H4 H) r+ L+ V. l3 I# U; T(iii)设 Af 是宝贵的传粉益虫,Apf 是某疾病的载体,是否应该修改分类方法。; k, W, M4 D# i, f+ w

    + T- h# ~. d8 f如上的问题是有代表性的,它的特点是要求依据已知资料(9 支 Af 的数据和 6 支 Apf 的数据)制定一种分类方法,类别是已经给定的(Af 或 Apf)。今后,我们将 9 支Af 及 6 支 Apf 的数据集合称之为学习样本。
    8 _- {+ h; s. o& k
    3 g' O* R3 G1 l# f8 o4 E1 o2.2  多层前馈网络 : m9 |% b' C: ^2 |
    为解决上述问题,考虑一个其结构如下图所示的人工神经网络,4 w# l* t5 G7 G% p* p  S9 K' r* z

    + f% N" B, D/ s4 ^# R& {( o  q: J* E9 Q/ i/ g! R
    ; i  C" a" ?  z  a" @
    5 H; O! U1 _3 t1 ~% i
    使用sigmoid 激活函数:8 a5 S4 @& f% {6 G2 L. b, ~- g6 L- i

    / J# n% w6 E' ?* s
    9 X! n3 ^+ m; V1 |( ]! ^( O& G
    ' F* _7 i5 @6 }0 e7 @1 A图中下面单元,即由   所示的一层称为输入层,用以输入已知测量值。在 我们的例子中,它只需包括两个单元,一个用以输入触角长度,一个用以输入翅膀长度。 中间一层称为处理层或隐单元层,单元个数适当选取,对于它的选取方法,有一些文献 进行了讨论,但通过试验来决定,或许是好的途径。在我们的例子中,取三个就足够 了。上面一层称为输出层,在我们的例子中只包含二个单元,用以输出与每一组输入 数据相对应的分类信息.任何一个中间层单元接受所有输入单元传来的信号,并把处理 后的结果传向每一个输出单元,供输出层再次加工,同层的神经元彼此不相联接,输入 与输出单元之间也没有直接联接。这样,除了神经元的形式定义外,我们又给出了网络 结构。有些文献将这样的网络称为两层前馈网络,称为两层的理由是,只有中间层及输 出层的单元才对信号进行处理;输入层的单元对输入数据没有任何加工,故不计算在层 数之内。- Y' y. D7 z6 r2 L7 M7 s
    5 t8 A* \' n5 c! [2 w1 B

    " q9 l3 w, n9 l# s4 F5 q+ v& q
    , J0 T& i1 W/ a% S
    7 _9 P" I0 Q1 k; D, @+ _9 ?7 }# h
    9 p3 s- G% H2 K5 L. i- i, U2.3  后向传播算法
    6 s* ?# T6 W- `2 L$ S; H: ~% i对于一个多层网络,如何求得一组恰当的权值,使网络具有特定的功能,在很长一 段时间内,曾经是使研究工作者感到困难的一个问题,直到 1985 年,美国加州大学的 一个研究小组提出了所谓反向传播算法(Back-Propagation),使问题有了重大进展,这 一算法也是促成人工神经网络研究迅猛发展的一个原因。详细了解请看: 一文弄懂神经网络中的BP反向传播算法6 I  I0 ^* i( b# a( R1 u; [
    6 z* A0 j0 {3 X9 e+ N/ e' j, H2 J
    下面就来介绍这一算法。【注:梯度法又称最速下降法。】, {) d% H4 c: U* q4 Y: b5 A8 y% F
    - Y/ ~; K9 O* p
    * M8 i8 U1 W6 F* ?, m2 ^. Z

    + i3 k$ c3 {& V/ I5 m: P5 ], @" k8 O6 ~
    7 ]5 M3 x( X# Z

    2 M+ U/ O- F6 I6 Y0 m) ~- t
    : o0 d) Y) y# c" q6 N) o% z3 y0 l- F* i! e0 K

    $ D4 f9 g( t& e6 |* j/ e2 [(iii)在如上的讨论中使用的是速下降法,显然,这也不是唯一的选择,其它的 非线性优化方法,诸如共轭梯度法,拟牛顿法等,都可用于计算。为了加速算法的收敛 速度,还可以考虑各种不同的修正方式。# V" V& s+ H! K' O3 l% z
    $ u" Q9 V6 s) _( t9 @$ i' t
    (iv)BP 算法的出现,虽然对人工神经网络的发展起了重大推动作用,但是这一 算法仍有很多问题.对于一个大的网络系统,BP 算法的工作量仍然是十分可观的,这 主要在于算法的收敛速度很慢。更为严重的是,此处所讨论的是非线性函数的优化,那 么它就无法逃脱该类问题的共同困难:BP 算法所求得的解,只能保证是依赖于初值选 取的局部极小点。为克服这一缺陷,可以考虑改进方法,例如模拟退火算法,或从多个随机选定的初值点出发,进行多次计算,但这些方法都不可避免地加大了工作量。
    / q' J$ R4 ~8 F2 F% G7 J- }  y
    2.4  蠓虫分类问题的求解
    " x' B! N; g/ \$ G) t2 J下面利用上文所叙述的网络结构及方法,对蠓虫分类问题求解。编写 Matlab 程序 如下:. {8 L% r5 g6 i' I. h8 G" p" g2 i

      e2 o! _6 P' Y& bclear * Z, J* C& r& u8 h0 X/ z
    p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;( S" N. m# {* ]; u& @
        1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];
    ; |; z0 P1 Q8 T: v5 K- ?p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00    : o3 t: {. _5 _) M# @# h
        1.28,2.00;1.30,1.96]; p=[p1;p2]'; pr=minmax(p);   \6 a' W5 }5 ]; x9 v. E* v/ b) G
    goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)]; 7 R$ f6 r& J1 n# R# T
    plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o') 5 R9 c4 Z" ~' A; O. h
    net=newff(pr,[3,2],{'logsig','logsig'}); / d; [- @& C- _( l" d7 ]+ R- L
    net.trainParam.show = 10; ! j8 |  U; c, i- P8 d7 j
    net.trainParam.lr = 0.05;   `9 |2 E: |9 g5 t/ B
    net.trainParam.goal = 1e-10;
    % b; J" Z9 n( n! z! xnet.trainParam.epochs = 50000; : L9 S  T" w9 L+ f
    net = train(net,p,goal); 9 Y  z" |  u. g
    x=[1.24 1.80;1.28 1.84;1.40 2.04]';
    % s; Z6 y5 [+ @4 j# D* X: W' Gy0=sim(net,p): d& O* }! C* F) m/ _, }$ X2 r( f/ P9 X
    y=sim(net,x)6 @5 L' m7 a* x7 N/ f1 P

    5 ^& x8 l& Z2 G0 Y1 g
    2 N3 b) e0 p9 M  l) k) q) q3 u% @1 `" x" E
    3  处理蠓虫分类的另一种网络方法 3 k( @1 d( T  n8 h& ]5 r
    3.1 几个有关概念" @5 L) k; q: [4 Q, H
    在介绍本节主要内容之前,首先说明几个不同的概念。在上一节中,我们把利用 BP 算法确定联接强度,即权值的过程称为“学习过程”,这种学习的特点是,对任何一 个输入样品,其类别事先是已知的,理想输出也已事先规定,因而从它所产生的实际输 出与理想输出的异同,我们清楚地知道网络判断正确与否,故此把这一类学习称为有监督学习;与它不同的是,有些情况下学习是无监督的,例如,我们试图把一组样品按其本身特点分类,所要划分的类别是事先未知的,需要网络自身通过学习来决定, 因而,在学习过程中,对每一输入所产生的输出也就无所谓对错,对于这样的情况,显 然 BP 算法是不适用的。 另一个有关概念是所谓有竞争的学习。在上节所讨论的蠓虫分类网络中,尽管我们 所希望的理想输出是 (0,1)或(1,0),但实际输出并不如此,一般而言,两个输出单元均同时不为 0。与此不同,我们完全可以设想另外一种输出模式:对应任何一组输入,所 有输出单元中,只允许有一个处于激发态,即取值为 1,其它输出单元均被抑制,即取 值为 0。一种形象的说法是,对应任何一组输入,要求所有的输出单元彼此竞争,唯一 的胜利者赢得一切,失败者一无所获,形成这样一种输出机制的网络学习过程,称为有 竞争的学习。8 J& w. _  a* x' J
    / W) v' c  l. X/ i
    3.2  简单的无监督有竞争的学习, w4 s7 e* ?! O0 G! p

    8 h1 }% a0 e; a) j- f+ [9 B本节叙述一种无监督有竞争的网络学习方法,由此产生的网络可用来将一组输入样 品自动划分类别,相似的样品归于同一类别,因而激发同一输出单元,这一分类方式, 是网络自身通过学习,从输入数据的关系中得出的。 蠓虫分类问题对应有监督的网络学习过程,显然不能由如上的方法来解决。但在这 种无监督有竞争的学习阐明之后,很容易从中导出一种适用于有监督情况的网络方法; 此外,本节所介绍的网络,在数据压缩等多种领域,都有其重要应用。 + C; G; [3 V" Z
    6 c& b. S' x$ }- B( t1 I
    ' v/ X% p6 A& I1 r' i
    2 G7 d4 l6 i: C" R1 L' Q% P2 ~* S% _
    ) d6 u- q2 j: H9 U9 W3 T0 r
    " l- {" {2 v+ E9 l$ Y# ^3 q: [
    % o# ~( R4 B$ o

    8 c; X4 g6 N$ A( K为了更有效地使用如上算法,下面对实际计算时可能产生的问题,作一些简要说明。
    " L/ l& d* z0 y$ Z# d" g
    4 B7 [8 w4 S9 l: m% S/ H  k; `# ^( M* o 首先,如果初始权选择不当,那么可能出现这样的输出单元,它的权远离任何输入 向量,因此,永远不会成为优胜者,相应的权也就永远不会得到修正,这样的单元称之 为死单元。为避免出现死单元,可以有多种方法。一种办法是初始权从学习样本中抽样 选取,这就保证了它们都落在正确范围内;另一种办法是修正上述的学习算法,使得每 一步不仅调整优胜者的权,同时也以一个小得多的 η 值,修正所有其它的权。这样,对 于总是失败的单元,其权逐渐地朝着平均输入方向运动,终也会在某一次竞争中取胜。 此外,还存在有多种处理死单元的方法,感兴趣的读者可从文献中找到更多的方法。 & V9 A$ \  l' c# @# O- j

    5 A# R" J7 X, w5 C8 N4 F  L% D
    2 ]6 W! J' Q2 r
    - q7 A. `( z1 M+ ~: x- i. h+ F" j% a, @7 m

    2 N+ ?" t  I8 u; D1 V4 i3.3  LVQ 方法 --学习矢量量化& Q3 o$ n2 ?  I: C2 w

    7 O0 m" i' q( ^3 S/ j$ C1 H上述有竞争学习的一个重要应用是数据压缩中的向量量子化方法(Vector Quantization,又称,学习矢量量化)。它的基本想法是,把一个给定的输入向量集合   分成M 个类别,然后 用类别指标来代表所有属于该类的向量。向量分量通常取连续值,一旦一组适当的类别确定之后,代替传输或存储输入向量本身,可以只传输或存储它的类别指标。所有的类别由M 个所谓“原型向量”来表示,我们可以利用一般的欧氏距离,对每一个输入向量找到靠近的原型向量,作为它的类别。显然,这种分类方法可以通过有竞争的学习直接得到。一旦学习过程结束,所有权向量的集合,便构成了一个“电码本”。" F8 Z8 n. S" s! Z* K# a& U8 B' X
    8 A2 u  S, f, R* }9 h) c. ~
    一般而言,上述无监督有竞争的学习,实际提供了一种聚类分析方法,对如蠓虫分类这种有监督的问题并不适用。1989 年,Kohonen 对向量量子化方法加以修改,提出 了一种适用于有监督情况的学习方法,称为学习向量量子化(Learning Vector Quantization),该方法可用于蠓虫分类问题。在有监督的情况下,学习样品的类别是事 先已知的,与此相应,每个输出单元所对应的类别也事先作了规定,但是,代表同一类 别的输出单元可以不止一个。
    ) k8 u* `. w5 Z8 N$ L6 J/ p' P' K, T! R, o

    * \, g$ Y# x3 f+ E# Q. y' ~( i( b. V) P/ A* }/ H% ^
    前一种情况,修正和无监督的学习一致,权朝向样本方向移动一小段距离;后一种 则相反,权向离开样本方向移动,这样就减少了错误分类的机会。 对于上述的蠓虫分类问题,我们编写 Matlab 程序如下:
    6 G5 z8 ^' n$ }clear
    3 D* P1 j# u& Xp1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;& t. c5 b: W( k$ ~
        1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08]; 3 V& g) w3 d3 z4 p2 @, i0 H& F
    p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00  
    + ]$ L9 |2 T. Q7 n5 k0 v) H2 O- _    1.28,2.00;1.30,1.96];
    , v6 X! m. R9 W' Vp=[p1;p2]'
    + d: W$ ^* ?( y1 R, d9 ~pr=minmax(p)
    , z, K/ F! P8 p) @. l0 |* b& Z* H) r; Sgoal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)] 1 |9 q; F8 B4 U2 L/ M
    net = newlvq(pr,4,[0.6,0.4])
      [) j* ~& c) N1 Q0 W" O" x& S% unet = train(net,p,goal)
    $ u- X& u, v5 s8 z" e2 f* LY = sim(net,p)
    ' P" k7 W( Y% qx=[1.24 1.80;1.28 1.84;1.40 2.04]' ( y  }  m1 T( N9 w; o
    sim(net,x)
    5 U9 ?) x0 t6 ?
    6 {% k4 b8 }; d0 r" k+ Y7 X习 题   d, O, v; _) r) O6 F1 `
    1. 利用 BP 算法及 sigmoid 函数,研究以下各函数的逼近问题 . ?; p% D# z) [6 I, l" [& D

    + X5 l$ U9 S8 c; k
    ; o+ I& F0 m4 `/ y1 D) t
    8 b: @+ Y. M2 v6 D! I, I对每一函数要完成如下工作:/ X5 G- ]! T' M7 n

    ( N/ }7 @* Q" M① 获取两组数据,一组作为训练集,一组作为测试集;/ Q- }0 K  O  @3 A0 c( ^' v
      O1 Q2 v5 n* a; {. R) k
    ② 利用训练集训练一个单隐层的网络;用测试集检验训练结果,改变隐层单元数, 研究它对逼近效果的影响。
    & r$ H& ?5 p+ L6 V
    7 a7 ^4 {$ w2 `' R+ u; Z1 _% P2. 给定待拟合的曲线形式为: ^+ u4 L8 |- _' @2 S: G* b3 j
    3 h$ ]: E0 I  n9 J# M. s2 p
    # H+ o, A2 d, ^% |) R
    # g5 `* l9 k$ Y/ x
    在  上等间隔取 11 个点的数据,在此数据的输出值上加均值为 0,均方差  σ = 0.05 的正态分布噪声作为给定训练数据,用多项式拟合此函数,分别取多项式的阶次为 1, 3 和 11 阶,图示出拟合结果,并讨论多项式阶次对拟合结果的影响。6 A7 N3 t! {1 O# U8 ?8 h
    ; U, n0 H0 h7 l- q* \1 N8 C

    5 X. ]: O7 `; v* t# E
    - P- i  B: H+ z4 P3 |3 u, @
    " @0 q2 d2 U# x6 d3 |# w) r' S( I7 [: e/ T) |4 V

    / C5 ]& Q, p. v4 K8 g————————————————
    1 g7 m+ g2 ~& y2 H版权声明:本文为CSDN博主「wamg潇潇」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    + _9 _. Q% M7 E  l原文链接:https://blog.csdn.net/qq_29831163/article/details/89509279; e8 w' Z- z! k) B
    $ d1 Y1 I1 G( v5 U1 w

    ( Z# e* G" z3 T2 y, D: k1 m
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-7-29 08:02 , Processed in 0.517821 second(s), 50 queries .

    回顶部