查看: 2459|回复: 4

[课件资源] 神经网络讲义5

字体大小: 正常放大

深V礼

246 主题	24 听众	8718 积分

TA的每日心情

	慵懒 2014-11-8 19:08

签到天数: 55 天

[LV.5]常住居民I

管理员

超级版主

版主

电梯直达

1^#

发表于 2014-10-31 10:08 |只看该作者 |正序浏览

|招呼Ta 关注Ta

第五章自适应线性元件

自适应线性元件(Adaptive Linear Element，简称Adaline)也是早期神经网络模型之一，它是由威德罗（Widrow）和霍夫（Hoff）首先提出的。它与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1。另外，它采用的是W—H学习法则，也称最小均方差(LMS)规则对权值进行训练，从而能够得到比感知器更快的收敛速度和更高的精度。

自适应线性元件的主要用途是线性逼近一个函数式而进行模式联想。另外，它还适用于信号处理滤波、预测、模型识别和控制。

5．1 自适应线性神经元模型和结构

一个线性的具有r个输人的自适应线性神经元模型如下图所示。这个神经元有一个线性激活函数，被称为Adaline如图5．1(a)所示。和感知器一样，偏差可以用来作为网络的一个可调参数，提供额外可调的自由变量以获得期望的网络特性。线性神经元可以训练学习一个与之对应的输入输出的函数关系，或线性逼近任意一个非线性函数，但它不能产生任何非线性的计算特性。

file:///C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\ksohtml\wps20A.tmp.png

图5. 1 自适应线性神经网络的结构

当自适应线性网络由s个神经元相并联形成一层网络，此自适应线性神经网络又称为Madallne如图5．1(b)所示。

W—H规则仅能够训练单层网络，但这并不是什么严重问题。如前面所述，单层线性网络与多层线性网络具有同样的能力，即对于每一个多层线性网络，都具有一个等效的单层线性网络与之对应。在反向传播法产生以后，威德罗又将其自适应线性网络扩展成多层，甚至将激活函数也扩展成非线性的了。

5．2 W－H学习规则

W—H学习规则是由威德罗和霍夫提出的用来修正权矢量的学习规则，所以用他们两人姓氏的第一个字母来命名。采用W—H学习规则可以用来训练一定网络的权值和偏差使之线性地逼近一个函数式而进行模式联想(Pattern Association)。

定义一个线性网络的输出误差函数为：

file:///C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\ksohtml\wps20B.tmp.png （5. 1）

由(5．1)式可以看出：线性网络具有抛物线型误差函数所形成的误差表面，所以只有一个误差最小值。通过W—H学习规则来计算权值和偏差的变化，并使网络误差的平方和最小化，总能够训练一个网络的误差趋于这个最小值。另外很显然，E(W，B)只取决于网络的权值及目标矢量。我们的目的是通过调节权矢量，使E(W，B)达到最小值。所以在给定E(W，B)后，利用W—H学习规则修正权矢量和偏差矢量，使E(W，B)从误差空间的某一点开始，沿着E(W，B)的斜面向下滑行。根据梯度下降法，权矢量的修正值正比于当前位置上E(W，B)的梯度，对于第i个输出节点有：

file:///C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\ksohtml\wps20C.tmp.png （5.2）

或表示为：

file:///C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\ksohtml\wps20D.tmp.png （5.3）

这里file:///C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\ksohtml\wps20E.tmp.png定义为第i个输出节点的误差：

游客，如果您要查看本帖隐藏内容请回复