查看: 2539|回复: 0

[建模教程] 神经网络模型用于数学建模

[复制链接]

字体大小: 正常放大

浅夏110

542 主题	15 听众	1万积分

TA的每日心情

	开心 2020-11-14 17:15

签到天数: 74 天

[LV.6]常住居民II

群组: 2019美赛冲刺课程

群组: 站长地区赛培训

群组: 2019考研数学桃子老师

群组: 2018教师培训（呼伦贝

群组: 2019考研数学站长系列

电梯直达

1^#

发表于 2020-6-4 11:24 |只看该作者 |倒序浏览

|招呼Ta 关注Ta |邮箱已经成功绑定

人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及功能的一种抽象数学模型。自 1943 年美国心理学家 W. McCulloch 和数学家 W. Pitts 提出形式神经元的抽象数学模型—MP 模型以来，人工神经网络理论技术经过了 50 多年曲折的发展。特别是 20 世纪 80 年代，人工神经网络的研究取得了重大进展，有关的理论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。它在模式识别，图像处理，智能控制，组合优化，金融预测与管理，通信，机器人以及专家系统等领域得到广泛的应用，提出了 40 多种神经网络模型，其中比较著名的有感知机，Hopfield 网络，Boltzman 机，自适应共振理论及反向传播网络（BP）等。在这里我们仅讨论基本的网络模型及其学习算法。

1.1  人工神经元结构
下图表示出了作为人工神经网络（artificial neural network，以下简称 NN）的基本单元的神经元模型，它有三个基本要素：

激活函数  ϕ(⋅ ）
可以有以下几种:

（0）Softmax - 用于多分类神经网络输出

（1）阈值函数、阶梯函数

相应的输出   为

（2）分段线性函数

它类似于一个放大系数为 1 的非线性放大器，当工作于线性区时它是一个线性组合器，放大系数趋于无穷大时变成一个阈值单元。

（3）sigmoid 函数 (以前最常用)

参数  α  > 0 可控制其斜率。 sigmoid 将一个实值输入压缩至[0,1]的范围,也可用于二分类的输出层。

（4）tanh  (双曲正切函数 ;Hyperbolic tangent function)

将一个实值输入压缩至 [-1, 1]的范围，这类函数具有平滑和渐近性，并保持单调性.

(5)  relu （Rectified linear unit; 修正线性单元 ; 深度学习目前最常用的激活函数）

# Relu在tensorflow中的实现：直接调用函数
tf.nn.relu( features, name= None )

与Sigmoid/tanh函数相比，ReLu激活函数的优点是：

使用梯度下降（GD）法时，收敛速度更快
相比Relu只需要一个门限值，即可以得到激活值，计算速度更快
缺点是：  Relu的输入值为负的时候，输出始终为0，其一阶导数也始终为0，这样会导致神经元不能更新参数，也就是神经元不学习了，这种现象叫做“Dead Neuron”。

为了解决Relu函数这个缺点，在Relu函数的负半区间引入一个泄露（Leaky）值，所以称为Leaky Relu函数。

（6）Leaky Relu  (带泄漏单元的relu )

         数学表达式： y = max(0, x) + leak*min(0,x)

与 ReLu 相比，leak 给所有负值赋予一个非零斜率，  leak是一个很小的常数  ，这样保留了一些负轴的值，使得负轴的信息不会全部丢失）

leaky ReLU

#leakyRelu在tennsorflow中的简单实现
tf.maximum(leak * x, x),

比较高效的写法为：

import tensorflow as tf
def LeakyReLU(x,leak=0.2,name="LeakyReLU"):
with tf.variable_scope(name):
      f1 = 0.5*(1 + leak)
      f2 = 0.5*(1 - leak)
      return f1*x+f2*tf.abs(x)

(vi)  RReLU【随机ReLU】

在训练时使用RReLU作为激活函数，则需要从均匀分布U(I,u)中随机抽取的一个数值，作为负值的斜率。

总结：激活函数可以分为两大类

饱和激活函数： sigmoid、 tanh
非饱和激活函数: ReLU 、Leaky Relu 、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】

相对于饱和激活函数，使用“非饱和激活函数”的优势在于两点：
1.首先，“非饱和激活函数”能解决深度神经网络【层数非常多！！】的“梯度消失”问题，浅层网络【三五层那种】才用sigmoid 作为激活函数。
2.其次，它能加快收敛速度。

其它激活函数：softplus、softsign

Matlab 中的激活（传递）函数

1.2  网络结构及工作方式
除单元特性外，网络的拓扑结构也是 NN 的一个重要特性。从连接方式看 NN 主要有两种。

（i）前馈型网络各神经元接受前一层的输入，并输出给下一层，没有反馈。结点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多个其它结点作为其输入）。通常前馈网络可分为不同的层，第i层的输入只与第 1 −i 层输出相连，输入和输出结点与外界相连，而其它中间层则称为隐层。

（ii）反馈型网络所有结点都是计算单元，同时也可接受输入，并向外界输出。 NN 的工作过程主要分为两个阶段：第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值可通过学习来修改；第二阶段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反馈网络按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作用，这一类主要用作各种联想存储器；第二类只利用全局极小点，它主要用于求解优化问题。

2  蠓虫分类问题与多层前馈网络
2.1  蠓虫分类问题
蠓虫分类问题可概括叙述如下：生物学家试图对两种蠓虫（Af 与 Apf）进行鉴别，依据的资料是触角和翅膀的长度，已经测得了 9 支 Af 和 6 支 Apf 的数据如下：

Af: (1.24,1.27)，(1.36,1.74)，(1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)， (1.48,1.82)，(1.54,1.82)，(1.56,2.08).

Apf: (1.14,1.82)，(1.18,1.96)，(1.20,1.86)，(1.26,2.00)，(1.28,2.00)，(1.30,1.96).

现在的问题是：

（i）根据如上资料，如何制定一种方法，正确地区分两类蠓虫。

（ii）对触角和翼长分别为(1.24,1.80)，(1.28,1.84)与(1.40,2.04)的 3 个标本，用所得到的方法加以识别。

（iii）设 Af 是宝贵的传粉益虫，Apf 是某疾病的载体，是否应该修改分类方法。

如上的问题是有代表性的，它的特点是要求依据已知资料（9 支 Af 的数据和 6 支 Apf 的数据）制定一种分类方法，类别是已经给定的（Af 或 Apf）。今后，我们将 9 支Af 及 6 支 Apf 的数据集合称之为学习样本。

2.2  多层前馈网络
为解决上述问题，考虑一个其结构如下图所示的人工神经网络，

使用sigmoid 激活函数：

图中下面单元，即由所示的一层称为输入层，用以输入已知测量值。在我们的例子中，它只需包括两个单元，一个用以输入触角长度，一个用以输入翅膀长度。中间一层称为处理层或隐单元层，单元个数适当选取，对于它的选取方法，有一些文献进行了讨论，但通过试验来决定，或许是好的途径。在我们的例子中，取三个就足够了。上面一层称为输出层，在我们的例子中只包含二个单元，用以输出与每一组输入数据相对应的分类信息．任何一个中间层单元接受所有输入单元传来的信号，并把处理后的结果传向每一个输出单元，供输出层再次加工，同层的神经元彼此不相联接，输入与输出单元之间也没有直接联接。这样，除了神经元的形式定义外，我们又给出了网络结构。有些文献将这样的网络称为两层前馈网络，称为两层的理由是，只有中间层及输出层的单元才对信号进行处理；输入层的单元对输入数据没有任何加工，故不计算在层数之内。

2.3  后向传播算法
对于一个多层网络，如何求得一组恰当的权值，使网络具有特定的功能，在很长一段时间内，曾经是使研究工作者感到困难的一个问题，直到 1985 年，美国加州大学的一个研究小组提出了所谓反向传播算法（Back-Propagation），使问题有了重大进展，这一算法也是促成人工神经网络研究迅猛发展的一个原因。详细了解请看：一文弄懂神经网络中的BP反向传播算法

下面就来介绍这一算法。【注：梯度法又称最速下降法。】

（iii）在如上的讨论中使用的是速下降法，显然，这也不是唯一的选择，其它的非线性优化方法，诸如共轭梯度法，拟牛顿法等，都可用于计算。为了加速算法的收敛速度，还可以考虑各种不同的修正方式。

（iv）BP 算法的出现，虽然对人工神经网络的发展起了重大推动作用，但是这一算法仍有很多问题．对于一个大的网络系统，BP 算法的工作量仍然是十分可观的，这主要在于算法的收敛速度很慢。更为严重的是，此处所讨论的是非线性函数的优化，那么它就无法逃脱该类问题的共同困难：BP 算法所求得的解，只能保证是依赖于初值选取的局部极小点。为克服这一缺陷，可以考虑改进方法，例如模拟退火算法，或从多个随机选定的初值点出发，进行多次计算，但这些方法都不可避免地加大了工作量。

2.4  蠓虫分类问题的求解
下面利用上文所叙述的网络结构及方法，对蠓虫分类问题求解。编写 Matlab 程序如下：

clear
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;
1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];
p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00
1.28,2.00;1.30,1.96]; p=[p1;p2]'; pr=minmax(p);
goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)];
plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o')
net=newff(pr,[3,2],{'logsig','logsig'});
net.trainParam.show = 10;
net.trainParam.lr = 0.05;
net.trainParam.goal = 1e-10;
net.trainParam.epochs = 50000;
net = train(net,p,goal);
x=[1.24 1.80;1.28 1.84;1.40 2.04]';
y0=sim(net,p)
y=sim(net,x)

3  处理蠓虫分类的另一种网络方法
3.1 几个有关概念
在介绍本节主要内容之前，首先说明几个不同的概念。在上一节中，我们把利用 BP 算法确定联接强度，即权值的过程称为“学习过程”，这种学习的特点是，对任何一个输入样品，其类别事先是已知的，理想输出也已事先规定，因而从它所产生的实际输出与理想输出的异同，我们清楚地知道网络判断正确与否，故此把这一类学习称为有监督学习；与它不同的是，有些情况下学习是无监督的，例如，我们试图把一组样品按其本身特点分类，所要划分的类别是事先未知的，需要网络自身通过学习来决定，因而，在学习过程中，对每一输入所产生的输出也就无所谓对错，对于这样的情况，显然 BP 算法是不适用的。另一个有关概念是所谓有竞争的学习。在上节所讨论的蠓虫分类网络中，尽管我们所希望的理想输出是（0，1）或（1，0），但实际输出并不如此，一般而言，两个输出单元均同时不为 0。与此不同，我们完全可以设想另外一种输出模式：对应任何一组输入，所有输出单元中，只允许有一个处于激发态，即取值为 1，其它输出单元均被抑制，即取值为 0。一种形象的说法是，对应任何一组输入，要求所有的输出单元彼此竞争，唯一的胜利者赢得一切，失败者一无所获，形成这样一种输出机制的网络学习过程，称为有竞争的学习。

3.2  简单的无监督有竞争的学习

本节叙述一种无监督有竞争的网络学习方法，由此产生的网络可用来将一组输入样品自动划分类别，相似的样品归于同一类别，因而激发同一输出单元，这一分类方式，是网络自身通过学习，从输入数据的关系中得出的。蠓虫分类问题对应有监督的网络学习过程，显然不能由如上的方法来解决。但在这种无监督有竞争的学习阐明之后，很容易从中导出一种适用于有监督情况的网络方法；此外，本节所介绍的网络，在数据压缩等多种领域，都有其重要应用。

为了更有效地使用如上算法，下面对实际计算时可能产生的问题，作一些简要说明。

首先，如果初始权选择不当，那么可能出现这样的输出单元，它的权远离任何输入向量，因此，永远不会成为优胜者，相应的权也就永远不会得到修正，这样的单元称之为死单元。为避免出现死单元，可以有多种方法。一种办法是初始权从学习样本中抽样选取，这就保证了它们都落在正确范围内；另一种办法是修正上述的学习算法，使得每一步不仅调整优胜者的权，同时也以一个小得多的 η 值，修正所有其它的权。这样，对于总是失败的单元，其权逐渐地朝着平均输入方向运动，终也会在某一次竞争中取胜。此外，还存在有多种处理死单元的方法，感兴趣的读者可从文献中找到更多的方法。

3.3  LVQ 方法 --学习矢量量化

上述有竞争学习的一个重要应用是数据压缩中的向量量子化方法（Vector Quantization，又称，学习矢量量化）。它的基本想法是，把一个给定的输入向量集合分成M 个类别，然后用类别指标来代表所有属于该类的向量。向量分量通常取连续值，一旦一组适当的类别确定之后，代替传输或存储输入向量本身，可以只传输或存储它的类别指标。所有的类别由M 个所谓“原型向量”来表示，我们可以利用一般的欧氏距离，对每一个输入向量找到靠近的原型向量，作为它的类别。显然，这种分类方法可以通过有竞争的学习直接得到。一旦学习过程结束，所有权向量的集合，便构成了一个“电码本”。

一般而言，上述无监督有竞争的学习，实际提供了一种聚类分析方法，对如蠓虫分类这种有监督的问题并不适用。1989 年，Kohonen 对向量量子化方法加以修改，提出了一种适用于有监督情况的学习方法，称为学习向量量子化（Learning Vector Quantization），该方法可用于蠓虫分类问题。在有监督的情况下，学习样品的类别是事先已知的，与此相应，每个输出单元所对应的类别也事先作了规定，但是，代表同一类别的输出单元可以不止一个。

前一种情况，修正和无监督的学习一致，权朝向样本方向移动一小段距离；后一种则相反，权向离开样本方向移动，这样就减少了错误分类的机会。对于上述的蠓虫分类问题，我们编写 Matlab 程序如下：
clear
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;
1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];
p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00
1.28,2.00;1.30,1.96];
p=[p1;p2]'
pr=minmax(p)
goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)]
net = newlvq(pr,4,[0.6,0.4])
net = train(net,p,goal)
Y = sim(net,p)
x=[1.24 1.80;1.28 1.84;1.40 2.04]'
sim(net,x)

习题
1. 利用 BP 算法及 sigmoid 函数，研究以下各函数的逼近问题

对每一函数要完成如下工作：

① 获取两组数据，一组作为训练集，一组作为测试集；

② 利用训练集训练一个单隐层的网络；用测试集检验训练结果，改变隐层单元数，研究它对逼近效果的影响。

2. 给定待拟合的曲线形式为

在  上等间隔取 11 个点的数据，在此数据的输出值上加均值为 0，均方差  σ = 0.05 的正态分布噪声作为给定训练数据，用多项式拟合此函数，分别取多项式的阶次为 1， 3 和 11 阶，图示出拟合结果，并讨论多项式阶次对拟合结果的影响。

————————————————
版权声明：本文为CSDN博主「wamg潇潇」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_29831163/article/details/89509279

zan