- 在线时间
- 791 小时
- 最后登录
- 2022-11-28
- 注册时间
- 2017-6-12
- 听众数
- 15
- 收听数
- 0
- 能力
- 120 分
- 体力
- 36395 点
- 威望
- 11 点
- 阅读权限
- 255
- 积分
- 13879
- 相册
- 0
- 日志
- 0
- 记录
- 1
- 帖子
- 616
- 主题
- 542
- 精华
- 12
- 分享
- 0
- 好友
- 225
TA的每日心情 | 开心 2020-11-14 17:15 |
|---|
签到天数: 74 天 [LV.6]常住居民II
 群组: 2019美赛冲刺课程 群组: 站长地区赛培训 群组: 2019考研数学 桃子老师 群组: 2018教师培训(呼伦贝 群组: 2019考研数学 站长系列 |
人工神经网络是在现代神经科学的基础上提出和发展起来的,旨在反映人脑结构及 功能的一种抽象数学模型。自 1943 年美国心理学家 W. McCulloch 和数学家 W. Pitts 提 出形式神经元的抽象数学模型—MP 模型以来,人工神经网络理论技术经过了 50 多年 曲折的发展。特别是 20 世纪 80 年代,人工神经网络的研究取得了重大进展,有关的理 论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。 它在模式识别,图像处理,智能控制,组合优化,金融预测与管理,通信,机器人以及 专家系统等领域得到广泛的应用,提出了 40 多种神经网络模型,其中比较著名的有感 知机,Hopfield 网络,Boltzman 机,自适应共振理论及反向传播网络(BP)等。在这 里我们仅讨论基本的网络模型及其学习算法。8 Q& z0 H3 c' a8 @7 h; p# w
7 m' e* ?2 H' u- Y( I7 L
1.1 人工神经元结构
3 c( O# i5 o; _8 l下图表示出了作为人工神经网络(artificial neural network,以下简称 NN)的基本 单元的神经元模型,它有三个基本要素: : v- j% s: X! z$ Q) u
: V8 N/ {8 S2 K6 }+ v. O8 r % \1 F: U2 d# ?6 Y* d3 y$ S {
/ N7 A8 Z, p7 \+ R/ }8 D% w; o![]()
" R) k3 G$ {/ x- e$ i3 z+ K
6 k$ r! o& {: B7 r0 K; n![]()
) L) |6 i* V/ y! ^5 b, N2 Q& h
8 ^# P v* c% Z: k 2 ? l1 h! A* w7 v2 L9 m
: x( n0 H2 h/ |* l y/ e, R激活函数 ϕ(⋅ )
- i6 v% a( u( @6 G/ N& m+ d可以有以下几种:
3 Z. N1 q: y& V, Y
# N' h0 C' w/ y8 ^ A, U) e1 Z (0)Softmax - 用于多分类神经网络输出" p% E8 h {8 M- q" c; s
![]()
: b8 z% |! P2 [; T9 H8 W6 V; f. x! }' r( Z2 h
8 B# B) ^5 v r2 y, u K(1)阈值函数 、阶梯函数+ e7 _8 c1 v3 h: D
" `, [) v8 e3 n& ] # l! ^' Q1 S7 J3 q y+ Z; O4 z1 G; t
2 f7 w5 ^/ k* @4 x% e3 p; M; |' W1 R
相应的输出 为 D1 J" [0 d, U' D
, a1 ^% o7 \3 ?' J$ p+ ~ ; t& D. f% z6 S8 N7 A* ]# Z( K9 M
, C8 n. L) \5 z9 z' @7 _- o- d( w(2)分段线性函数 ) }5 H! ?2 p9 f6 O
9 M' h o( D$ Z" E+ S7 I![]()
7 O% L+ D" a& K! A* }5 l
& h1 `8 L5 e$ Y w; M它类似于一个放大系数为 1 的非线性放大器,当工作于线性区时它是一个线性组合器, 放大系数趋于无穷大时变成一个阈值单元。 9 n& o9 [ i6 N8 t4 u: m
! ~6 k' j2 p5 R
(3)sigmoid 函数 (以前最常用) - ~# S; `" A0 E. @; H) u+ ]
* X W, x- L, {" U1 I/ f![]()
3 O0 A+ e' V2 r* Y3 x) t# I; Y( D0 }& f- i& O$ U3 B/ P3 j! n
参数 α > 0 可控制其斜率。 sigmoid 将一个实值输入压缩至[0,1]的范围,也可用于二分类的输出层。3 A3 i+ p ]8 W2 i1 v) e1 `
! Y1 z5 u% `! P& w, U7 V/ \ N(4)tanh (双曲正切函数 ;Hyperbolic tangent function)
9 I: o% P" H% A/ C, g$ E4 D: g5 y5 Y: E J$ t/ F8 t+ A; O7 Z
6 @) }3 n/ j9 b( q1 S9 T2 S, E
/ \0 i: Y s; E2 r$ m5 z 将 一个实值输入压缩至 [-1, 1]的范围,这类函数具有平滑和渐近性,并保持单调性.
. ?6 u, k& ]+ @: {- @! v
# |) T! t+ U8 K$ @( s( l![]()
6 b6 y0 |' `- e. G/ g
! @8 p' z+ F0 _* j3 Z, l(5) relu (Rectified linear unit; 修正线性单元 ; 深度学习目前最常用的激活函数)
% Q2 g% o4 D' _2 [+ t3 H
- A3 B- T; z5 L: G9 J M$ W / Q8 w5 p- ^' j% q
; R. y4 P% R. U0 O, k7 x1 K; l" v8 o$ P& X0 D# X/ J
# Relu在tensorflow中的实现: 直接调用函数 8 t( {- T: x4 L; o4 y. O
tf.nn.relu( features, name= None )
% m% o3 v8 t6 a. s; U9 B' W8 p* I: D
与Sigmoid/tanh函数相比,ReLu激活函数的优点是:
9 k0 M9 k7 Q" g" g: u
9 x; Z+ B1 Z8 \4 O s k% { 使用梯度下降(GD)法时,收敛速度更快 - F t9 d4 f7 `- h" G
相比Relu只需要一个门限值,即可以得到激活值,计算速度更快
$ k- c8 ~- w. q, H. T; g: t 缺点是: Relu的输入值为负的时候,输出始终为0,其一阶导数也始终为0,这样会导致神经元不能更新参数,也就是神经元不学习了,这种现象叫做“Dead Neuron”。
! E; n; Q9 m- U* t+ N# U+ z) F \2 ^+ K$ D1 O9 Z' X( k/ _
为了解决Relu函数这个缺点,在Relu函数的负半区间引入一个泄露(Leaky)值,所以称为Leaky Relu函数。
. b* M7 O# P4 p: a3 p- |2 F9 m; x) r" H- r+ d. B9 i" m, v
(6)Leaky Relu (带泄漏单元的relu )
5 |/ e$ U7 _ `: M+ N* h5 t/ B8 z
数学表达式: y = max(0, x) + leak*min(0,x)
; U5 o, T2 j4 J9 \- f+ z- M6 h; A7 q
与 ReLu 相比 ,leak 给所有负值赋予一个非零斜率, leak是一个很小的常数 ,这样保留了一些负轴的值,使得负轴的信息不会全部丢失)+ [0 _8 x! c9 Y( w9 W8 j+ |
) k- ^7 U. X9 y
# X8 c9 s4 D' [: a
leaky ReLU
; t/ `+ ?' W) V" V4 e, Y& b2 `
" \' T0 Q$ r0 b8 } ) M4 [4 Y( b _) r4 ?
. Q! d* o- k0 P* B' t
: A: @: e7 }$ z3 Z
#leakyRelu在tennsorflow中的简单实现, c1 @5 m" e% b9 T+ F
tf.maximum(leak * x, x),9 n' C' H& c+ A5 V' w) C
3 J+ b( q+ g7 d5 Z% d1 f# n" ^" `- d; P+ ~ \
比较高效的写法为:
) K* R) L5 w7 @5 o- p' s4 f
) K1 n0 D/ S' a' g+ D/ i" y" dimport tensorflow as tf$ ^) N8 r i# M* U# a. l% U
def LeakyReLU(x,leak=0.2,name="LeakyReLU"):! m2 Q. V& \! T, D3 l
with tf.variable_scope(name):
# d* N1 X' s! w% l8 ]. B/ I/ v2 z3 d f1 = 0.5*(1 + leak)
! e8 \1 ^' Y8 d7 C7 z f2 = 0.5*(1 - leak)- _* u, F+ o E$ J; }
return f1*x+f2*tf.abs(x)& X3 o" n! v6 f# S& F
y7 n! u0 l8 ]8 t( \7 f(vi) RReLU【随机ReLU】+ @2 S9 X+ R7 m& _( {( W6 e
( V# C7 i, H( }. y
在训练时使用RReLU作为激活函数,则需要从均匀分布U(I,u)中随机抽取的一个数值 ,作为负值的斜率。7 f; |8 w) c r, \3 j
1 b0 \8 G! j3 e $ X1 Y3 I7 O4 k1 ?. Q% o
: H) c7 c7 U) h3 s4 x' g0 f9 n7 _% Q总结: 激活函数可以分为 两大类 ; w$ F1 j$ O2 }1 C7 i5 o. ]( m
+ W: b5 Z# r$ U- N4 w) w+ j+ A
饱和激活函数: sigmoid、 tanh
0 B/ C; n/ |2 F$ M3 \6 i非饱和激活函数: ReLU 、Leaky Relu 、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】3 f! q2 [/ h3 Y$ K& t$ w
5 i# ^+ \. x9 e" H, E# p
" ]+ T: m8 ?: Z
. W1 a# \( y" I1 L' c" i相对于饱和激活函数,使用“非饱和激活函数”的优势在于两点:! p/ I( u# z2 C7 W! c+ m' Q5 m9 S
1.首先,“非饱和激活函数”能解决深度神经网络【层数非常多!!】的“梯度消失”问题,浅层网络【三五层那种】才用sigmoid 作为激活函数。1 P) z0 i5 N% e2 c2 b* d
2.其次,它能加快收敛速度。 ) R" t# L1 k, R- g: D
" f- ?& H r2 Y" X9 _. s
其它激活函数:softplus、softsign
; z' c2 }0 C% O+ B" L( r, `
8 O8 Q7 i% N% Y3 D![]()
! T1 K6 \2 V8 F8 H) d
, ~/ o- s) S; |: [% P& XMatlab 中的激活(传递)函数
( \* d2 b Y% ~8 p2 }/ v7 @0 ~) K1 |! }
![]()
# J$ q5 t, t6 s i/ P4 h3 \- ]/ C; F& m3 y) k. p
![]() ![]()
4 c6 @& H0 U8 o: L* X: f/ ~" Q- j: s' b, \4 V
1.2 网络结构及工作方式 ' E6 M7 g- @( J1 _
除单元特性外,网络的拓扑结构也是 NN 的一个重要特性。从连接方式看 NN 主要 有两种。9 {. Q' U! X' j6 F; s1 w
0 `4 W) K' c) u5 o4 a2 G, b- C
(i)前馈型网络 各神经元接受前一层的输入,并输出给下一层,没有反馈。结点分为两类,即输入 单元和计算单元,每一计算单元可有任意个输入,但只有一个输出(它可耦合到任意多 个其它结点作为其输入)。通常前馈网络可分为不同的层,第i层的输入只与第 1 −i 层 输出相连,输入和输出结点与外界相连,而其它中间层则称为隐层。
3 V' B x* f5 s( j/ h
/ Q/ |" }' t6 I L+ p+ N% x4 J. }(ii)反馈型网络 所有结点都是计算单元,同时也可接受输入,并向外界输出。 NN 的工作过程主要分为两个阶段:第一个阶段是学习期,此时各计算单元状态不 变,各连线上的权值可通过学习来修改;第二阶段是工作期,此时各连接权固定,计算 单元状态变化,以达到某种稳定状态。 从作用效果看,前馈网络主要是函数映射,可用于模式识别和函数逼近。反馈网络 按对能量函数的极小点的利用来分类有两种:第一类是能量函数的所有极小点都起作 用,这一类主要用作各种联想存储器;第二类只利用全局极小点,它主要用于求解优化问题。 $ e4 k: p" ^0 M9 [! g
+ J" T2 ^) Q R. f5 v6 b4 t" v2 蠓虫分类问题与多层前馈网络 ; x9 Y' c" p$ S } u+ N( |/ Q
2.1 蠓虫分类问题 % f: F# Y$ [* [9 B# V
蠓虫分类问题可概括叙述如下:生物学家试图对两种蠓虫(Af 与 Apf)进行鉴别, 依据的资料是触角和翅膀的长度,已经测得了 9 支 Af 和 6 支 Apf 的数据如下:
: O5 z' _7 V2 u
& o7 f$ ^. R( T3 s2 zAf: (1.24,1.27),(1.36,1.74),(1.38,1.64),(1.38,1.82),(1.38,1.90),(1.40,1.70), (1.48,1.82),(1.54,1.82),(1.56,2.08).
; b1 u. u% Q7 [" R/ [/ y, S& _/ Y7 J: y7 c% I/ J3 E! `- l
Apf: (1.14,1.82),(1.18,1.96),(1.20,1.86),(1.26,2.00),(1.28,2.00),(1.30,1.96).2 T; f7 q4 i* i9 C$ L3 t W; v
; w! K2 v6 y" ~现在的问题是:
' X/ @' O1 B* s/ Z5 t1 e) j
: h& V( g. z( d. ]! M(i)根据如上资料,如何制定一种方法,正确地区分两类蠓虫。( I" B) p9 k4 g' Y& r6 j" X0 n
8 Z7 ^4 t2 Q! ]# c# R
(ii)对触角和翼长分别为(1.24,1.80),(1.28,1.84)与(1.40,2.04)的 3 个标本,用所得 到的方法加以识别。; z- q# Z" c9 }
; j9 _3 k- r: ^7 f(iii)设 Af 是宝贵的传粉益虫,Apf 是某疾病的载体,是否应该修改分类方法。
& ]$ |) c' {9 k# n) w; S
9 V6 n: X! A+ L% J9 j$ L6 P) b如上的问题是有代表性的,它的特点是要求依据已知资料(9 支 Af 的数据和 6 支 Apf 的数据)制定一种分类方法,类别是已经给定的(Af 或 Apf)。今后,我们将 9 支Af 及 6 支 Apf 的数据集合称之为学习样本。
1 n$ w7 Z; M6 ~; j1 s" x% w+ K$ E& {3 q- g$ e2 Z3 c
2.2 多层前馈网络
9 c) I( P4 t _( @) p# E- y4 \" D为解决上述问题,考虑一个其结构如下图所示的人工神经网络,. Q. {+ R7 {( W- L2 |* ]( M b7 f
. |/ h; R4 R7 ^# h) i 5 I* S8 |# |; {3 Y$ A" a- Y! p" K% `
+ A3 z0 b' {& R" O) u: a5 J
! b5 E- Q9 t. u/ W5 N
使用sigmoid 激活函数:
/ J. t( f( R! r0 q" I9 ~# z, C- [( G6 ~, @
t& j( V Y* E7 c- d6 l " y5 g( `- w' m/ f8 b
7 A. x: \) u9 M$ J* P; D
图中下面单元,即由 所示的一层称为输入层,用以输入已知测量值。在 我们的例子中,它只需包括两个单元,一个用以输入触角长度,一个用以输入翅膀长度。 中间一层称为处理层或隐单元层,单元个数适当选取,对于它的选取方法,有一些文献 进行了讨论,但通过试验来决定,或许是好的途径。在我们的例子中,取三个就足够 了。上面一层称为输出层,在我们的例子中只包含二个单元,用以输出与每一组输入 数据相对应的分类信息.任何一个中间层单元接受所有输入单元传来的信号,并把处理 后的结果传向每一个输出单元,供输出层再次加工,同层的神经元彼此不相联接,输入 与输出单元之间也没有直接联接。这样,除了神经元的形式定义外,我们又给出了网络 结构。有些文献将这样的网络称为两层前馈网络,称为两层的理由是,只有中间层及输 出层的单元才对信号进行处理;输入层的单元对输入数据没有任何加工,故不计算在层 数之内。
+ p# Z/ v5 E$ f2 m) a
- J5 c4 o( }" C! y1 _2 \ F' X; Q9 r, E3 F& j' I
![]() 2 ]# a1 G% l: K% a Y6 B9 F# K
, Z0 G) C4 C& {/ p1 i) I5 h
6 n7 E/ E. p; r7 E2.3 后向传播算法8 p9 o% e$ |5 [) l
对于一个多层网络,如何求得一组恰当的权值,使网络具有特定的功能,在很长一 段时间内,曾经是使研究工作者感到困难的一个问题,直到 1985 年,美国加州大学的 一个研究小组提出了所谓反向传播算法(Back-Propagation),使问题有了重大进展,这 一算法也是促成人工神经网络研究迅猛发展的一个原因。详细了解请看: 一文弄懂神经网络中的BP反向传播算法
$ P9 m- A6 T4 L! X. a, P3 }( X" {- B% e: U
下面就来介绍这一算法。【注:梯度法又称最速下降法。】
7 }+ z7 ~" S# z" [' K! V
k# R" `7 n! k( w; A' ?; Z, i! h7 P! `4 \3 g7 {
- M! S, o% ^# W8 b$ Z5 a1 X* u( f
7 N9 {8 w( \! ~; D B![]()
" l6 {* R0 [0 U% ^, W
; t# B. K# C9 a3 Q* e8 y$ c : O# W' M7 z5 Y" c
i+ \% ]( a1 }; Z) z. g
8 o. K. ~' d9 d5 n- k$ e9 C(iii)在如上的讨论中使用的是速下降法,显然,这也不是唯一的选择,其它的 非线性优化方法,诸如共轭梯度法,拟牛顿法等,都可用于计算。为了加速算法的收敛 速度,还可以考虑各种不同的修正方式。
$ `8 V5 K0 e) [! T! p) z+ d) R) u! |5 B+ [
(iv)BP 算法的出现,虽然对人工神经网络的发展起了重大推动作用,但是这一 算法仍有很多问题.对于一个大的网络系统,BP 算法的工作量仍然是十分可观的,这 主要在于算法的收敛速度很慢。更为严重的是,此处所讨论的是非线性函数的优化,那 么它就无法逃脱该类问题的共同困难:BP 算法所求得的解,只能保证是依赖于初值选 取的局部极小点。为克服这一缺陷,可以考虑改进方法,例如模拟退火算法,或从多个随机选定的初值点出发,进行多次计算,但这些方法都不可避免地加大了工作量。 8 B: e2 Q! d3 h* |( G! g
5 I, f$ \& S/ U% @0 Y! F/ E" X5 o% I
2.4 蠓虫分类问题的求解 $ ]4 g7 g1 w, A
下面利用上文所叙述的网络结构及方法,对蠓虫分类问题求解。编写 Matlab 程序 如下:
2 `% k( F8 f7 R! ^ k$ k" Q7 Y7 i7 J% l3 R) M h( i
clear * F1 g2 C5 q$ p6 R% q& n7 P
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;" c# L4 j! O2 |. E3 x
1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08]; 1 L9 M4 `' w" o4 ?2 M& I" d
p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00 D5 p: Z! ^' ^. G( _
1.28,2.00;1.30,1.96]; p=[p1;p2]'; pr=minmax(p); 3 [! f; B# |: o6 a1 B; _6 b' A
goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)]; / @# A, {% L) i
plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o') . G# H) W J$ B' C
net=newff(pr,[3,2],{'logsig','logsig'});
3 ~/ p5 a* P) M% ?! G F& qnet.trainParam.show = 10;
1 Z) b2 ^8 }$ M, Nnet.trainParam.lr = 0.05;
4 Y4 f% l7 q y& \net.trainParam.goal = 1e-10; 8 A6 q# Q4 M/ W4 z% a
net.trainParam.epochs = 50000; 9 D4 E% d! `, b
net = train(net,p,goal);
6 M$ m _* E) ex=[1.24 1.80;1.28 1.84;1.40 2.04]';
8 O5 d8 y4 j4 }3 dy0=sim(net,p)
9 u$ ~' I- m* _y=sim(net,x)
6 s# q- U4 O2 f* F( h* J8 @) s& j) n; j# G: u
! k/ ~, K- c! s( @. c
4 Z6 Q# B4 J' [* Z1 _% r8 c3 处理蠓虫分类的另一种网络方法 4 r% s% X: L" ]/ v3 }. w) f
3.1 几个有关概念
+ ?. S6 Y+ g+ L% P8 U在介绍本节主要内容之前,首先说明几个不同的概念。在上一节中,我们把利用 BP 算法确定联接强度,即权值的过程称为“学习过程”,这种学习的特点是,对任何一 个输入样品,其类别事先是已知的,理想输出也已事先规定,因而从它所产生的实际输 出与理想输出的异同,我们清楚地知道网络判断正确与否,故此把这一类学习称为有监督学习;与它不同的是,有些情况下学习是无监督的,例如,我们试图把一组样品按其本身特点分类,所要划分的类别是事先未知的,需要网络自身通过学习来决定, 因而,在学习过程中,对每一输入所产生的输出也就无所谓对错,对于这样的情况,显 然 BP 算法是不适用的。 另一个有关概念是所谓有竞争的学习。在上节所讨论的蠓虫分类网络中,尽管我们 所希望的理想输出是 (0,1)或(1,0),但实际输出并不如此,一般而言,两个输出单元均同时不为 0。与此不同,我们完全可以设想另外一种输出模式:对应任何一组输入,所 有输出单元中,只允许有一个处于激发态,即取值为 1,其它输出单元均被抑制,即取 值为 0。一种形象的说法是,对应任何一组输入,要求所有的输出单元彼此竞争,唯一 的胜利者赢得一切,失败者一无所获,形成这样一种输出机制的网络学习过程,称为有 竞争的学习。
x q8 R* q- ?
& z3 U" H9 M5 G( s( T9 Y1 W3.2 简单的无监督有竞争的学习7 C' s. Q9 d+ t* g4 R0 D
: E8 ]" p2 {3 M D& P/ Z1 Z
本节叙述一种无监督有竞争的网络学习方法,由此产生的网络可用来将一组输入样 品自动划分类别,相似的样品归于同一类别,因而激发同一输出单元,这一分类方式, 是网络自身通过学习,从输入数据的关系中得出的。 蠓虫分类问题对应有监督的网络学习过程,显然不能由如上的方法来解决。但在这 种无监督有竞争的学习阐明之后,很容易从中导出一种适用于有监督情况的网络方法; 此外,本节所介绍的网络,在数据压缩等多种领域,都有其重要应用。 # [+ a, Q) x7 v8 }
7 `5 A, a) T9 K( Z: n" [/ i( g" X 7 Z5 j+ V3 r: ?& V" e! J
/ R- ?$ B8 @$ _ ! [# \4 ~6 v1 x
D* p) [- E8 A4 @- ]$ E0 h2 t* Z$ s1 `
+ ~- w7 n5 W( L$ q4 K1 I
为了更有效地使用如上算法,下面对实际计算时可能产生的问题,作一些简要说明。
5 i+ d3 Z: W1 J4 A. q$ I( [+ ^) @
3 A. e; }2 o7 P$ F 首先,如果初始权选择不当,那么可能出现这样的输出单元,它的权远离任何输入 向量,因此,永远不会成为优胜者,相应的权也就永远不会得到修正,这样的单元称之 为死单元。为避免出现死单元,可以有多种方法。一种办法是初始权从学习样本中抽样 选取,这就保证了它们都落在正确范围内;另一种办法是修正上述的学习算法,使得每 一步不仅调整优胜者的权,同时也以一个小得多的 η 值,修正所有其它的权。这样,对 于总是失败的单元,其权逐渐地朝着平均输入方向运动,终也会在某一次竞争中取胜。 此外,还存在有多种处理死单元的方法,感兴趣的读者可从文献中找到更多的方法。 2 r$ L2 z- R" f3 Y6 n
5 R, Y& B- { z# D) }4 K
, g6 X+ V8 n! g) e
- A3 m. S+ l. a6 p; ]* J3 @" L) d5 D# \
' I, y) e) j' V& W( g6 m1 q& e
3.3 LVQ 方法 --学习矢量量化
$ q1 Z" K4 M' h8 j7 Z4 R! ^+ ^3 n. |! g
上述有竞争学习的一个重要应用是数据压缩中的向量量子化方法(Vector Quantization,又称,学习矢量量化)。它的基本想法是,把一个给定的输入向量集合 分成M 个类别,然后 用类别指标来代表所有属于该类的向量。向量分量通常取连续值,一旦一组适当的类别确定之后,代替传输或存储输入向量本身,可以只传输或存储它的类别指标。所有的类别由M 个所谓“原型向量”来表示,我们可以利用一般的欧氏距离,对每一个输入向量找到靠近的原型向量,作为它的类别。显然,这种分类方法可以通过有竞争的学习直接得到。一旦学习过程结束,所有权向量的集合,便构成了一个“电码本”。. l4 _5 U' z1 ^& x! F e/ a! C; H4 G
* [; ~# f" z8 @+ R4 A9 k z一般而言,上述无监督有竞争的学习,实际提供了一种聚类分析方法,对如蠓虫分类这种有监督的问题并不适用。1989 年,Kohonen 对向量量子化方法加以修改,提出 了一种适用于有监督情况的学习方法,称为学习向量量子化(Learning Vector Quantization),该方法可用于蠓虫分类问题。在有监督的情况下,学习样品的类别是事 先已知的,与此相应,每个输出单元所对应的类别也事先作了规定,但是,代表同一类 别的输出单元可以不止一个。 / ]6 R; x# F6 V, F: G# i. G1 q. u, r
; w' M1 U. Q5 ~2 V' p ( U# ^: ^' \5 V! i
6 ?8 h: B. O3 W9 x前一种情况,修正和无监督的学习一致,权朝向样本方向移动一小段距离;后一种 则相反,权向离开样本方向移动,这样就减少了错误分类的机会。 对于上述的蠓虫分类问题,我们编写 Matlab 程序如下: ; T0 l! E; j4 ~+ }' G
clear 0 [; [3 v/ U. C0 c
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;
0 m" C; \% G& U" p6 l; n4 x6 ]) y5 g 1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];
9 z" ]7 d) I3 w V vp2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00 4 c* ]! P1 Y7 h
1.28,2.00;1.30,1.96]; 0 K6 v% a$ Y: \
p=[p1;p2]'
# X. [6 i4 ]$ \ D' N+ ]pr=minmax(p)
# s7 c( c$ b% F5 X7 N/ Kgoal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)] 7 ^+ a; b; s/ N% ?' ?$ g- `0 |" y
net = newlvq(pr,4,[0.6,0.4])
& A1 |4 O, c$ X# Z$ _* onet = train(net,p,goal) % R( Z S" ?6 A- {! b# Z8 Z
Y = sim(net,p) 4 y1 m' q# F: H; Z- `4 u
x=[1.24 1.80;1.28 1.84;1.40 2.04]' 2 |+ P: H0 ~% f! X
sim(net,x)
6 \: z Y/ }6 ]5 w3 P! I1 F. q, p4 C% L# a
习 题 ( j2 W0 C) g, T( C0 D) @. I
1. 利用 BP 算法及 sigmoid 函数,研究以下各函数的逼近问题 * B* {" x3 N8 {" q2 K( o
$ C/ Q9 Y4 l1 i6 o1 j9 s " l5 e+ B2 P- x9 v
8 i( P- P- R% y4 G& j对每一函数要完成如下工作:2 }5 j+ V/ _) d4 J" S
3 g' S/ |" H. M9 B) V& c5 i
① 获取两组数据,一组作为训练集,一组作为测试集;
2 _8 P5 }- v/ [) l% w N
0 Q% @% L F6 H; O, x' n② 利用训练集训练一个单隐层的网络;用测试集检验训练结果,改变隐层单元数, 研究它对逼近效果的影响。 + ]& Z! t! u% t
) r, E8 X. g* A3 w; h( h! l9 l2. 给定待拟合的曲线形式为 f& p1 \# T8 Z' T0 k
. C' K7 ~% j8 L% j7 R! b: p 7 M9 ]8 e t: }9 k. A
3 L# k$ Z k: y8 I- U0 {在 上等间隔取 11 个点的数据,在此数据的输出值上加均值为 0,均方差 σ = 0.05 的正态分布噪声作为给定训练数据,用多项式拟合此函数,分别取多项式的阶次为 1, 3 和 11 阶,图示出拟合结果,并讨论多项式阶次对拟合结果的影响。
# R7 @5 b& X7 t. n
/ ]% O: A4 @! \$ ~: t8 T
h7 ^3 j6 ]! P. g0 Y9 I; t& H8 }
& L$ G. F& |' I+ t0 w4 K1 V* ?2 x* ^9 G0 s0 Q/ \( F
. ?) T; t+ {2 p7 H
' B4 m$ o5 ^* y4 Z% D# L6 e————————————————! ~- C! W7 I- e2 O9 h
版权声明:本文为CSDN博主「wamg潇潇」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。: W- k( E S- j
原文链接:https://blog.csdn.net/qq_29831163/article/details/89509279
* k" A) U$ F/ F* i, n- F% K6 `
" r- C0 ~9 b: ~9 G2 X9 S# v
|
zan
|