- 在线时间
- 791 小时
- 最后登录
- 2022-11-28
- 注册时间
- 2017-6-12
- 听众数
- 15
- 收听数
- 0
- 能力
- 120 分
- 体力
- 36395 点
- 威望
- 11 点
- 阅读权限
- 255
- 积分
- 13879
- 相册
- 0
- 日志
- 0
- 记录
- 1
- 帖子
- 616
- 主题
- 542
- 精华
- 12
- 分享
- 0
- 好友
- 225
TA的每日心情 | 开心 2020-11-14 17:15 |
|---|
签到天数: 74 天 [LV.6]常住居民II
 群组: 2019美赛冲刺课程 群组: 站长地区赛培训 群组: 2019考研数学 桃子老师 群组: 2018教师培训(呼伦贝 群组: 2019考研数学 站长系列 |
人工神经网络是在现代神经科学的基础上提出和发展起来的,旨在反映人脑结构及 功能的一种抽象数学模型。自 1943 年美国心理学家 W. McCulloch 和数学家 W. Pitts 提 出形式神经元的抽象数学模型—MP 模型以来,人工神经网络理论技术经过了 50 多年 曲折的发展。特别是 20 世纪 80 年代,人工神经网络的研究取得了重大进展,有关的理 论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。 它在模式识别,图像处理,智能控制,组合优化,金融预测与管理,通信,机器人以及 专家系统等领域得到广泛的应用,提出了 40 多种神经网络模型,其中比较著名的有感 知机,Hopfield 网络,Boltzman 机,自适应共振理论及反向传播网络(BP)等。在这 里我们仅讨论基本的网络模型及其学习算法。
% a2 b- o0 K" N9 }" j% Z# y9 i: O, W2 M8 ?
1.1 人工神经元结构) ?9 T, T8 u3 `# x8 h0 j5 z
下图表示出了作为人工神经网络(artificial neural network,以下简称 NN)的基本 单元的神经元模型,它有三个基本要素:
( }+ }& O" q; B) s& _& p0 p0 y$ p8 {5 a$ n. k+ S
![]()
- E* g! L4 q3 K4 \: M [0 j5 e0 p4 v: ^
![]()
8 p/ X( X0 W( f' L0 X4 i( T y' j7 h% l+ \
![]()
( D0 \$ X6 H; ]2 P+ q }$ m
- W1 y& _! u/ W d* w7 ?5 s ( B/ n( y: B5 h5 p$ }% [& r
9 } f. L0 z( ]5 N8 d- X; @
激活函数 ϕ(⋅ )
) g g! p2 r3 f: h+ I# r4 N可以有以下几种:
4 Q0 ~5 L5 c; w2 x- V+ C" S' r% z; a- |/ \; c! l- F/ ^
(0)Softmax - 用于多分类神经网络输出
0 Z! \0 ]. J- p; A![]()
" F& A8 p) x; \/ p% i u9 V4 g" y6 |( ?- w: c; S. V# k. i
! v/ A. i. p0 _(1)阈值函数 、阶梯函数
# r: p% K) O2 C3 R7 `6 U
8 Y1 F" a( D8 a5 S- \2 K& G' y + H* T0 c k7 e+ Q3 v1 h- u
; M+ l+ a, p" f. u% c1 V相应的输出 为 1 _/ V5 ?0 @8 r" O# G
( Z" H }/ E$ m+ m' H7 H" `( ]
![]()
, A7 f W/ h! x3 N8 b" K% ?8 G. l/ j1 l* Y. W. Q$ F3 l5 |; Y
(2)分段线性函数
& s3 J2 J: {6 N/ D1 G* D+ V' a0 r3 b8 j* |
![]()
& \2 ?- _- K5 z( ^
) O7 u0 ]/ Y0 R它类似于一个放大系数为 1 的非线性放大器,当工作于线性区时它是一个线性组合器, 放大系数趋于无穷大时变成一个阈值单元。
. E) b! }1 Z0 y/ I6 L6 X5 U2 _
7 S3 ^) `# X( B$ r9 q(3)sigmoid 函数 (以前最常用)
0 ~3 ]1 e, g3 T% i% ~' z% e: k; o$ }& P8 }9 G
![]()
2 C$ B- G1 b8 h* j. d$ z1 E4 }6 S3 u8 f( `! @
参数 α > 0 可控制其斜率。 sigmoid 将一个实值输入压缩至[0,1]的范围,也可用于二分类的输出层。
( N7 [. _; |; c* a9 W
- }* t$ m& I/ j7 u5 s) ]# J1 m(4)tanh (双曲正切函数 ;Hyperbolic tangent function) 3 x2 o5 o" `) Z, {" U2 T
9 B. W+ u& D; F% R3 n![]()
# a* C; M6 I, { z8 b: x
6 c' a$ u# D6 y/ |# c9 g 将 一个实值输入压缩至 [-1, 1]的范围,这类函数具有平滑和渐近性,并保持单调性.) ?6 n: b: i2 k: \
7 j' x: f0 d% N9 W* `; b 2 r0 a, |7 j v, _3 K6 W' X6 A
h3 y; u( g2 k1 F, ^
(5) relu (Rectified linear unit; 修正线性单元 ; 深度学习目前最常用的激活函数)7 i0 L% z: f6 l9 `) w1 G0 u' m" S
4 |1 K7 F# c2 |3 L- {![]()
4 p4 S; [) u' m- S
! ~7 N+ E& J. ?0 A+ i' C0 s# m' ?2 x$ d P; D& N
# Relu在tensorflow中的实现: 直接调用函数
9 g0 E- V, |1 Otf.nn.relu( features, name= None )8 V+ R- |, w H' P4 }1 i5 {, y, g
( G- r* K6 q; j- x; w
与Sigmoid/tanh函数相比,ReLu激活函数的优点是:" p, u7 J& t/ f7 q1 G' x
1 [/ q0 {- S7 n6 H/ u0 M 使用梯度下降(GD)法时,收敛速度更快 : G3 M! }% C2 Z4 a8 O
相比Relu只需要一个门限值,即可以得到激活值,计算速度更快
7 l) [6 c- E5 ]! ~8 Z9 n 缺点是: Relu的输入值为负的时候,输出始终为0,其一阶导数也始终为0,这样会导致神经元不能更新参数,也就是神经元不学习了,这种现象叫做“Dead Neuron”。5 w% N. n9 B% [! W! C! f
" f2 a, \* c$ S: A+ J 为了解决Relu函数这个缺点,在Relu函数的负半区间引入一个泄露(Leaky)值,所以称为Leaky Relu函数。
# u8 p1 h# e* {
( y3 Y0 k& q9 O7 E- h (6)Leaky Relu (带泄漏单元的relu )
8 ?/ e4 i: y5 U' \* W+ w# y, A! Q1 m/ a+ S- j0 }
数学表达式: y = max(0, x) + leak*min(0,x) 3 T; Z9 y% Y' `: i" Y* F4 [
8 M8 o" R3 n/ M' y; e& z与 ReLu 相比 ,leak 给所有负值赋予一个非零斜率, leak是一个很小的常数 ,这样保留了一些负轴的值,使得负轴的信息不会全部丢失)
2 i" A" `: {/ P& J/ y' a) v& N
9 x" O1 c2 u$ e- Y1 r- ^1 e
/ g+ Y& E6 A$ l; r( ?leaky ReLU. \ h0 R5 C! U7 W" s2 [
. o+ c9 s6 @( s& g![]()
, i4 ~# {, b V+ \9 a2 X
" ?) ]6 J8 F4 H& \: D7 E
6 V+ y$ {1 X$ G8 B) _' t#leakyRelu在tennsorflow中的简单实现
# R! c' h }1 F {9 s0 F6 s tf.maximum(leak * x, x),' ^# t* f: m2 U' f9 }1 G
$ w7 i1 j, y7 w. W1 j9 F3 f2 r: W2 W' z* Z r
比较高效的写法为:
# r" y( R( v g i
5 p6 ^5 e5 L. F/ Cimport tensorflow as tf
/ J) }9 a k B7 Jdef LeakyReLU(x,leak=0.2,name="LeakyReLU"):
+ y6 H. H$ \& e2 B4 u. X# i with tf.variable_scope(name):
3 h; u& I9 W: ~ f1 = 0.5*(1 + leak)% z3 d8 D" Z9 t* M! Z+ c1 z
f2 = 0.5*(1 - leak)' |$ L& S' y+ L( p9 t+ Z
return f1*x+f2*tf.abs(x)
1 t+ E5 v6 r. I3 O$ A; |" U, m0 J, B' y& P# f2 @
(vi) RReLU【随机ReLU】. `$ r8 Z7 {( r% ]/ ]6 S( L
: E/ @0 S& c+ r) K1 a在训练时使用RReLU作为激活函数,则需要从均匀分布U(I,u)中随机抽取的一个数值 ,作为负值的斜率。
5 _) c( v( H7 Z0 _, q1 u9 L; d7 L+ M. L7 J/ |/ K
7 X6 J. v _! k. ]6 t* ~3 {, ~" y
9 }, w1 [3 d$ j
总结: 激活函数可以分为 两大类
+ ~1 L( E0 j/ |" I+ [, T8 N- c+ N. ~7 c8 A" u# a) M* S
饱和激活函数: sigmoid、 tanh) e7 v5 P: A* F8 Y. Q; J3 t+ x5 v# }3 y! U% }
非饱和激活函数: ReLU 、Leaky Relu 、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】
5 t8 Z6 s; q! I5 o0 g" e9 w0 |+ v9 l
& H2 F9 `* G- `' z ; ~) [* N& r5 f# W1 o! \& y
& z) I6 V6 l1 o5 Z, ~. P9 X
相对于饱和激活函数,使用“非饱和激活函数”的优势在于两点:1 U3 ?9 X* t1 l p, W E$ m5 d7 R
1.首先,“非饱和激活函数”能解决深度神经网络【层数非常多!!】的“梯度消失”问题,浅层网络【三五层那种】才用sigmoid 作为激活函数。
9 V/ i1 R- k. |4 S$ ?3 m: ` 2.其次,它能加快收敛速度。
- D4 \8 X- {# m Y
& b- T$ M" i0 B) O其它激活函数:softplus、softsign
' ?4 P2 G8 S) e) Y# I# W
$ C* C5 P; L) Q) r' }![]()
i, v A; }( L+ f7 L k- i
: O7 `; w7 m" Q0 iMatlab 中的激活(传递)函数
( ]4 k4 ] n: j0 K) S+ Q, s
4 O, ]1 N* j& m# e- x% S![]()
4 t& n5 r/ b/ o4 w: ~0 ~
( \* P4 U) _0 W4 K![]() ![]()
. R" Y$ Z' W. Q5 v. f9 z
6 P7 K5 N; H* L1.2 网络结构及工作方式 & H( ~+ R7 [& T
除单元特性外,网络的拓扑结构也是 NN 的一个重要特性。从连接方式看 NN 主要 有两种。
! ^* X2 j% y( r& f1 R* ]: j4 s' j0 D0 F" _/ h
(i)前馈型网络 各神经元接受前一层的输入,并输出给下一层,没有反馈。结点分为两类,即输入 单元和计算单元,每一计算单元可有任意个输入,但只有一个输出(它可耦合到任意多 个其它结点作为其输入)。通常前馈网络可分为不同的层,第i层的输入只与第 1 −i 层 输出相连,输入和输出结点与外界相连,而其它中间层则称为隐层。
& t, Y2 O& i/ B7 g* m
! m/ N N4 K. I(ii)反馈型网络 所有结点都是计算单元,同时也可接受输入,并向外界输出。 NN 的工作过程主要分为两个阶段:第一个阶段是学习期,此时各计算单元状态不 变,各连线上的权值可通过学习来修改;第二阶段是工作期,此时各连接权固定,计算 单元状态变化,以达到某种稳定状态。 从作用效果看,前馈网络主要是函数映射,可用于模式识别和函数逼近。反馈网络 按对能量函数的极小点的利用来分类有两种:第一类是能量函数的所有极小点都起作 用,这一类主要用作各种联想存储器;第二类只利用全局极小点,它主要用于求解优化问题。
' d& r9 V9 h' T* V$ Y- o
$ F0 z9 w7 u. t2 蠓虫分类问题与多层前馈网络
; Z K* e# q! ~* f# k2 v; t2.1 蠓虫分类问题
/ S3 O2 ^" l3 j( U* E' [% ?蠓虫分类问题可概括叙述如下:生物学家试图对两种蠓虫(Af 与 Apf)进行鉴别, 依据的资料是触角和翅膀的长度,已经测得了 9 支 Af 和 6 支 Apf 的数据如下:" c; H1 q. x- c1 U1 ?. L2 F: c
. m0 `- O6 U' t9 R, {4 P7 | Y' [Af: (1.24,1.27),(1.36,1.74),(1.38,1.64),(1.38,1.82),(1.38,1.90),(1.40,1.70), (1.48,1.82),(1.54,1.82),(1.56,2.08).7 A( ~$ ~3 d o! _9 {: a; o& u
0 E i5 q- t+ j3 L3 U9 j
Apf: (1.14,1.82),(1.18,1.96),(1.20,1.86),(1.26,2.00),(1.28,2.00),(1.30,1.96).
/ G2 P' o2 W$ ]( h7 O" Z7 \5 A$ z! L0 f
现在的问题是:
- m3 @, f1 }; V% E+ @8 n L1 N4 ~% k0 Y9 X
(i)根据如上资料,如何制定一种方法,正确地区分两类蠓虫。
$ O+ v. V2 z! i8 D+ y& d
( R* ~0 t" s' M8 v: E. l(ii)对触角和翼长分别为(1.24,1.80),(1.28,1.84)与(1.40,2.04)的 3 个标本,用所得 到的方法加以识别。* M8 N0 M; {$ }$ L
! n! B3 P0 J, F" _; V. s
(iii)设 Af 是宝贵的传粉益虫,Apf 是某疾病的载体,是否应该修改分类方法。: ~6 W; \& y% R7 v( G
5 N# V7 b7 c& K0 l" K( ^4 L% j如上的问题是有代表性的,它的特点是要求依据已知资料(9 支 Af 的数据和 6 支 Apf 的数据)制定一种分类方法,类别是已经给定的(Af 或 Apf)。今后,我们将 9 支Af 及 6 支 Apf 的数据集合称之为学习样本。 . c2 w/ D( N3 Z8 l) _
* w6 m* I1 _; y, \* |2.2 多层前馈网络 7 e, h/ ~0 k% g
为解决上述问题,考虑一个其结构如下图所示的人工神经网络,! ]* h, d3 g7 o' s* r. t, C
0 ^9 U& p& _: [* z0 {3 K7 ^
![]()
0 ]" z* N+ ]' x) Q, t& ?
6 V! h5 F% B6 a# k( B+ |, H# v+ T8 ?! {6 N
使用sigmoid 激活函数:
) K- C8 ~6 K, U0 l+ S) T
( v) E: }7 b) q6 |6 y- M! N) S1 P/ ^![]()
7 L, t! m: o$ `/ k3 k: f6 X( P P. g* K$ |: C2 J
图中下面单元,即由 所示的一层称为输入层,用以输入已知测量值。在 我们的例子中,它只需包括两个单元,一个用以输入触角长度,一个用以输入翅膀长度。 中间一层称为处理层或隐单元层,单元个数适当选取,对于它的选取方法,有一些文献 进行了讨论,但通过试验来决定,或许是好的途径。在我们的例子中,取三个就足够 了。上面一层称为输出层,在我们的例子中只包含二个单元,用以输出与每一组输入 数据相对应的分类信息.任何一个中间层单元接受所有输入单元传来的信号,并把处理 后的结果传向每一个输出单元,供输出层再次加工,同层的神经元彼此不相联接,输入 与输出单元之间也没有直接联接。这样,除了神经元的形式定义外,我们又给出了网络 结构。有些文献将这样的网络称为两层前馈网络,称为两层的理由是,只有中间层及输 出层的单元才对信号进行处理;输入层的单元对输入数据没有任何加工,故不计算在层 数之内。
4 ^. X! }+ D1 i5 E+ j
4 u+ I1 V' ~- B2 I% E/ d0 b1 |1 z7 I
![]() ![]()
: q# T$ Z% n5 Z( h ^/ y1 t: S) F4 d. J0 R
8 }+ ?+ [8 D9 l& Q, R
2.3 后向传播算法
( H) V+ a/ j# Z$ K6 Y4 M( a对于一个多层网络,如何求得一组恰当的权值,使网络具有特定的功能,在很长一 段时间内,曾经是使研究工作者感到困难的一个问题,直到 1985 年,美国加州大学的 一个研究小组提出了所谓反向传播算法(Back-Propagation),使问题有了重大进展,这 一算法也是促成人工神经网络研究迅猛发展的一个原因。详细了解请看: 一文弄懂神经网络中的BP反向传播算法/ U8 e' d) H- Z d
4 Y! X/ m$ T2 j; S0 I
下面就来介绍这一算法。【注:梯度法又称最速下降法。】* I% g2 R) [$ ~ s, F( a
4 X f, x+ g8 _0 s( ?
) F5 f! _1 N. k# _ o, I k
![]()
' r! K; y$ |9 e+ J6 l. T% ^9 ?8 y
9 v e" q; }2 S4 P H) s. Z. {/ B8 ?
! v% Z9 E( r, X* `
![]()
: }8 }* U; l7 y9 e
) n0 j6 e# v4 s- S! G3 b; k+ e0 p3 o" }2 p+ f6 W( o
(iii)在如上的讨论中使用的是速下降法,显然,这也不是唯一的选择,其它的 非线性优化方法,诸如共轭梯度法,拟牛顿法等,都可用于计算。为了加速算法的收敛 速度,还可以考虑各种不同的修正方式。. v g" f7 ]5 D0 g
. J. z- d! _+ I0 f+ R
(iv)BP 算法的出现,虽然对人工神经网络的发展起了重大推动作用,但是这一 算法仍有很多问题.对于一个大的网络系统,BP 算法的工作量仍然是十分可观的,这 主要在于算法的收敛速度很慢。更为严重的是,此处所讨论的是非线性函数的优化,那 么它就无法逃脱该类问题的共同困难:BP 算法所求得的解,只能保证是依赖于初值选 取的局部极小点。为克服这一缺陷,可以考虑改进方法,例如模拟退火算法,或从多个随机选定的初值点出发,进行多次计算,但这些方法都不可避免地加大了工作量。 * R& u2 N, ^0 |: w. T
; k1 c( r8 D' ?9 P1 A' f3 t4 m
2.4 蠓虫分类问题的求解
% }2 i* `) ^/ A5 v2 i下面利用上文所叙述的网络结构及方法,对蠓虫分类问题求解。编写 Matlab 程序 如下:
7 Y) \1 ^( v9 G! T- B8 K
- \+ p) b C5 z+ j/ `, X( o7 n. Jclear + O3 B+ q' l) d2 w) R2 H+ t7 d& q9 G
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90; `- H- I) S* v. {* r$ C
1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];
4 V4 c, m3 d$ K* l" vp2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00 / c- q, S3 j' ?2 r% N
1.28,2.00;1.30,1.96]; p=[p1;p2]'; pr=minmax(p); U: ?: n4 \, H) o2 `( n
goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)];
p/ B- }0 w4 z5 u) Y5 G/ qplot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o') - |9 H. e: L8 e( P; V, _/ ]
net=newff(pr,[3,2],{'logsig','logsig'}); : K+ b1 O) ?- e
net.trainParam.show = 10; 1 @5 e O: v1 `$ s* H
net.trainParam.lr = 0.05; - `; B# a' n8 F0 t8 j
net.trainParam.goal = 1e-10; $ N& O% H$ y- ]' w# \
net.trainParam.epochs = 50000; ; M1 x1 n# X m8 B- l0 Z
net = train(net,p,goal); 7 \9 Z# `0 p3 ]1 |1 V/ B/ N/ @
x=[1.24 1.80;1.28 1.84;1.40 2.04]';
3 o2 ~, {) c! a* a, O* U% sy0=sim(net,p)
- J r1 x5 N' u: U) uy=sim(net,x)$ C. o/ e3 M2 X/ n' F- d2 c6 B S# U
i0 q l3 K4 s) M" u$ a1 Q- Z: @3 {; w3 H* U8 x
. t2 M# z3 _1 H+ b3 w% P$ D3 处理蠓虫分类的另一种网络方法 : L! H: I8 Z+ l/ d3 V S; J
3.1 几个有关概念7 @1 s/ n2 o! o% s8 ?; e
在介绍本节主要内容之前,首先说明几个不同的概念。在上一节中,我们把利用 BP 算法确定联接强度,即权值的过程称为“学习过程”,这种学习的特点是,对任何一 个输入样品,其类别事先是已知的,理想输出也已事先规定,因而从它所产生的实际输 出与理想输出的异同,我们清楚地知道网络判断正确与否,故此把这一类学习称为有监督学习;与它不同的是,有些情况下学习是无监督的,例如,我们试图把一组样品按其本身特点分类,所要划分的类别是事先未知的,需要网络自身通过学习来决定, 因而,在学习过程中,对每一输入所产生的输出也就无所谓对错,对于这样的情况,显 然 BP 算法是不适用的。 另一个有关概念是所谓有竞争的学习。在上节所讨论的蠓虫分类网络中,尽管我们 所希望的理想输出是 (0,1)或(1,0),但实际输出并不如此,一般而言,两个输出单元均同时不为 0。与此不同,我们完全可以设想另外一种输出模式:对应任何一组输入,所 有输出单元中,只允许有一个处于激发态,即取值为 1,其它输出单元均被抑制,即取 值为 0。一种形象的说法是,对应任何一组输入,要求所有的输出单元彼此竞争,唯一 的胜利者赢得一切,失败者一无所获,形成这样一种输出机制的网络学习过程,称为有 竞争的学习。: _/ ^ _5 L, {* s7 J- `7 ]; _
5 ^. H3 \8 X) ?; d# _4 S3.2 简单的无监督有竞争的学习
1 H. O1 W! ^% k$ O
' A$ T0 L- k6 i! g: n* i( F本节叙述一种无监督有竞争的网络学习方法,由此产生的网络可用来将一组输入样 品自动划分类别,相似的样品归于同一类别,因而激发同一输出单元,这一分类方式, 是网络自身通过学习,从输入数据的关系中得出的。 蠓虫分类问题对应有监督的网络学习过程,显然不能由如上的方法来解决。但在这 种无监督有竞争的学习阐明之后,很容易从中导出一种适用于有监督情况的网络方法; 此外,本节所介绍的网络,在数据压缩等多种领域,都有其重要应用。 N1 g2 q ~% Y+ E" [2 }
# a: _0 V2 F* A5 o5 e8 x" B 4 P, |2 O8 l+ u+ l6 J
( c0 U5 m) M2 s5 A2 W
![]()
) Q- l# h" z; F+ O+ L% {% N
- j7 T2 \; M8 |7 {
0 j/ T5 `0 ^& ~9 h, U- K; P6 K: a, E/ ?9 [0 ~& P3 x
为了更有效地使用如上算法,下面对实际计算时可能产生的问题,作一些简要说明。
9 p5 {( ]/ m/ ^2 r
" X; q1 z4 C# } 首先,如果初始权选择不当,那么可能出现这样的输出单元,它的权远离任何输入 向量,因此,永远不会成为优胜者,相应的权也就永远不会得到修正,这样的单元称之 为死单元。为避免出现死单元,可以有多种方法。一种办法是初始权从学习样本中抽样 选取,这就保证了它们都落在正确范围内;另一种办法是修正上述的学习算法,使得每 一步不仅调整优胜者的权,同时也以一个小得多的 η 值,修正所有其它的权。这样,对 于总是失败的单元,其权逐渐地朝着平均输入方向运动,终也会在某一次竞争中取胜。 此外,还存在有多种处理死单元的方法,感兴趣的读者可从文献中找到更多的方法。 # y% y( z7 G0 _7 F, A: i k9 _1 Y5 P
" _9 b; _+ q- t8 q a' e
0 q" i3 `; R& i; Z- |& T- i
" |8 X( ?6 W5 G0 r; `$ ~
K( P; F0 X0 Y9 W; S/ T
- @8 H# Q/ l( a" t3.3 LVQ 方法 --学习矢量量化6 J0 ?; n& z# ^- l* A) V1 t
4 S3 N$ N5 H, D3 q上述有竞争学习的一个重要应用是数据压缩中的向量量子化方法(Vector Quantization,又称,学习矢量量化)。它的基本想法是,把一个给定的输入向量集合 分成M 个类别,然后 用类别指标来代表所有属于该类的向量。向量分量通常取连续值,一旦一组适当的类别确定之后,代替传输或存储输入向量本身,可以只传输或存储它的类别指标。所有的类别由M 个所谓“原型向量”来表示,我们可以利用一般的欧氏距离,对每一个输入向量找到靠近的原型向量,作为它的类别。显然,这种分类方法可以通过有竞争的学习直接得到。一旦学习过程结束,所有权向量的集合,便构成了一个“电码本”。' B& ^, `0 S2 j, Y) U, W. ~7 ?, W
' H( _" u6 x% e3 d
一般而言,上述无监督有竞争的学习,实际提供了一种聚类分析方法,对如蠓虫分类这种有监督的问题并不适用。1989 年,Kohonen 对向量量子化方法加以修改,提出 了一种适用于有监督情况的学习方法,称为学习向量量子化(Learning Vector Quantization),该方法可用于蠓虫分类问题。在有监督的情况下,学习样品的类别是事 先已知的,与此相应,每个输出单元所对应的类别也事先作了规定,但是,代表同一类 别的输出单元可以不止一个。 ( j5 H9 C; w* X7 s& [! {
& K- g" a( X/ C1 J( x% b* } y4 N; W' ^! E$ i X
/ p9 @% ^, ]6 W3 s0 |) W" P# l
前一种情况,修正和无监督的学习一致,权朝向样本方向移动一小段距离;后一种 则相反,权向离开样本方向移动,这样就减少了错误分类的机会。 对于上述的蠓虫分类问题,我们编写 Matlab 程序如下: 9 I4 X$ M9 H: n. q" f4 [8 I
clear - l5 n9 o# ]& P' `9 J
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;* d. S, D: c" a8 A
1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];
9 K4 I9 C9 F- K. U% ~, J" I: T0 {2 ap2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00
3 N' y, m# z' a+ x- O" N! R 1.28,2.00;1.30,1.96]; 5 `( n' }/ X' b' f( ^
p=[p1;p2]'
/ w d4 J1 C# B8 L: t0 Ipr=minmax(p) ( L* @: _* N' P* d" `9 ~
goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)]
0 U- V, c% d# Z2 v6 ~& c; ?% Enet = newlvq(pr,4,[0.6,0.4]) $ u1 \! E& }6 T( D x+ U
net = train(net,p,goal)
+ f3 R% S7 b* R3 n5 d1 f/ {( TY = sim(net,p) : }; U, @1 b' T; j1 U
x=[1.24 1.80;1.28 1.84;1.40 2.04]'
* X% T0 `# p" Vsim(net,x) : f9 J, K- o% |9 P: Z' f
/ F% b7 I8 R! D9 L0 q
习 题 % P5 L) k: Q" f$ t' C0 M
1. 利用 BP 算法及 sigmoid 函数,研究以下各函数的逼近问题
2 M5 a4 J6 ]2 Z, _$ h3 g; z9 s! ~7 i7 ~: N
6 ]4 g% U/ I, _! A
1 ~- M0 A( v' _; c4 W! P7 O对每一函数要完成如下工作:, E0 M; Q( ?0 z; W( n+ E
, ~$ j6 {, u. N5 `6 U① 获取两组数据,一组作为训练集,一组作为测试集;$ F5 }- Z- X9 F1 @' y& f1 `3 i
# N, [2 B* Y, K4 H9 H% d② 利用训练集训练一个单隐层的网络;用测试集检验训练结果,改变隐层单元数, 研究它对逼近效果的影响。 ; ]" v$ G) I- }0 D# ^
`! _; e8 L8 V1 T2. 给定待拟合的曲线形式为
0 V+ J8 w" E1 t6 r9 I7 C0 G$ N# e% K6 X$ T. V6 m# V3 u7 _* ~+ W2 {
: }. I2 E0 P2 \ ]/ ?' F
. M( V% Z( i. V0 L+ t" Q" G6 Q# c
在 上等间隔取 11 个点的数据,在此数据的输出值上加均值为 0,均方差 σ = 0.05 的正态分布噪声作为给定训练数据,用多项式拟合此函数,分别取多项式的阶次为 1, 3 和 11 阶,图示出拟合结果,并讨论多项式阶次对拟合结果的影响。/ k7 @% l, N2 [8 R" d0 f+ |
, n* T3 P2 X& t' U
0 s4 R8 s4 F4 q3 e' `
) R; X0 E/ L1 U6 l; c+ Y5 Z) F0 ?1 \* ~6 S- ^8 p! T) c- L. R$ i
# ~5 e- n* @+ H$ [; f2 ~
1 ]. q6 w# y. r2 P————————————————
% h2 h G+ S6 I1 B j J. P版权声明:本文为CSDN博主「wamg潇潇」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
7 G6 \+ \1 {4 g6 C原文链接:https://blog.csdn.net/qq_29831163/article/details/89509279, X- p4 c1 W( ~' r1 S7 Q5 N8 j
" p+ w2 Q" n9 c6 |! g" I0 p" x( ]3 {$ f+ X, \
|
zan
|