数学建模社区-数学中国

标题: 神经网络讲义5 [打印本页]

作者: 深V礼 时间: 2014-10-31 10:08
标题: 神经网络讲义5
第五章自适应线性元件

自适应线性元件(Adaptive Linear Element，简称Adaline)也是早期神经网络模型之一，它是由威德罗（Widrow）和霍夫（Hoff）首先提出的。它与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1。另外，它采用的是W—H学习法则，也称最小均方差(LMS)规则对权值进行训练，从而能够得到比感知器更快的收敛速度和更高的精度。

自适应线性元件的主要用途是线性逼近一个函数式而进行模式联想。另外，它还适用于信号处理滤波、预测、模型识别和控制。

5．1 自适应线性神经元模型和结构

一个线性的具有r个输人的自适应线性神经元模型如下图所示。这个神经元有一个线性激活函数，被称为Adaline如图5．1(a)所示。和感知器一样，偏差可以用来作为网络的一个可调参数，提供额外可调的自由变量以获得期望的网络特性。线性神经元可以训练学习一个与之对应的输入输出的函数关系，或线性逼近任意一个非线性函数，但它不能产生任何非线性的计算特性。

file:///C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\ksohtml\wps20A.tmp.png

图5. 1 自适应线性神经网络的结构

当自适应线性网络由s个神经元相并联形成一层网络，此自适应线性神经网络又称为Madallne如图5．1(b)所示。

W—H规则仅能够训练单层网络，但这并不是什么严重问题。如前面所述，单层线性网络与多层线性网络具有同样的能力，即对于每一个多层线性网络，都具有一个等效的单层线性网络与之对应。在反向传播法产生以后，威德罗又将其自适应线性网络扩展成多层，甚至将激活函数也扩展成非线性的了。

5．2 W－H学习规则

W—H学习规则是由威德罗和霍夫提出的用来修正权矢量的学习规则，所以用他们两人姓氏的第一个字母来命名。采用W—H学习规则可以用来训练一定网络的权值和偏差使之线性地逼近一个函数式而进行模式联想(Pattern Association)。

定义一个线性网络的输出误差函数为：

file:///C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\ksohtml\wps20B.tmp.png （5. 1）

由(5．1)式可以看出：线性网络具有抛物线型误差函数所形成的误差表面，所以只有一个误差最小值。通过W—H学习规则来计算权值和偏差的变化，并使网络误差的平方和最小化，总能够训练一个网络的误差趋于这个最小值。另外很显然，E(W，B)只取决于网络的权值及目标矢量。我们的目的是通过调节权矢量，使E(W，B)达到最小值。所以在给定E(W，B)后，利用W—H学习规则修正权矢量和偏差矢量，使E(W，B)从误差空间的某一点开始，沿着E(W，B)的斜面向下滑行。根据梯度下降法，权矢量的修正值正比于当前位置上E(W，B)的梯度，对于第i个输出节点有：

file:///C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\ksohtml\wps20C.tmp.png （5.2）

或表示为：

file:///C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\ksohtml\wps20D.tmp.png （5.3）

这里file:///C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\ksohtml\wps20E.tmp.png定义为第i个输出节点的误差：

作者: 爱吃糯米丸子 时间: 2014-10-31 10:23
这几天没来，看看楼主又发啥了

作者: 刘358812234 时间: 2014-12-29 12:49
谢谢楼主啊啊啊

作者: lingxin179 时间: 2015-9-5 09:40
谢谢楼主分享

作者: enphantic 时间: 2015-10-17 23:48

好久没来，看看楼主又发啥了

欢迎光临数学建模社区-数学中国 (http://www.madio.net/)