[课件资源] 第一章：神经网络概述

[复制链接]

字体大小: 正常放大

137368108

4 主题	4 听众	2306 积分

升级 10.2%

TA的每日心情

	开心 2015-7-3 16:05

签到天数: 689 天

[LV.9]以坛为家II

群组: 2013年数学建模国赛备

群组: 中南民族大学

群组: 学术交流A

群组: 数学建摸协会

群组: 第三届数模基础实训

电梯直达

1^#

发表于 2011-8-20 15:52 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

神经网络讲什么内容，讲计算模型，计算原理，工作原理，用途，实现方法。
1什么是神经网络
1. 1神经网络与计算机
计算机：
 四代计算机
电子管，晶体管，集成电路，大规模集成电路。智能计算机是第5代，智能计算机不容易。速度提高快，智能不见怎么样。
 计算机特点
二进制，5部分组成模块，存储程序。结构看：核心部件是中央处理器。专门存储部件，输入输出部件。
 神经网络发展史
充满传奇色彩，讲故事。每次讲课都讲历史，过去那些出色成绩的故事，做出出色成绩的人的故事。
(1) 神经网络来自人类对自己的研究，背景性研究起始于19世纪末，20世纪初。生物学家要搞清楚人或生命智能的道理。想办法解释自然现象，物理学。
(2) 现代方式的神经网络研究神经网络研究，1940年，两个科学家：Warren McCulloch, Walter Pitts, 给出人工神经网络模型。现在人们使用的就是他们抽象出的神经元模型。
(3) hebb规则，1949，生物神经元学习机制。神经元传递信息的原则，互相作用的原则。两个神经原同时兴奋，则两者的连接强度增强。
(4) 1958年，rosenblatt真正造了一个神经网络，号称perceptron，感知器。
(5) 1960年，Bernard Widrow, Ted Hoff给出自适应线性神经网络，利用了widrow-hoff学习规则，应用于消除回声。真正应用，用于电话消除回声，很简单的元件。
(6) 1969年，minsky与**t的书批评了感知器与自适应线性神经网络，打击了神经网络发展。从此神经网络发展陷入低谷。这个时代是计算机发展飞速，同时带有很多神秘感的时代。很多东西未能搞清楚，很有用，很吸引人的时代。大家都来研究计算机的人工智能是很正常的。Minsky的书中举了一个例子，说神经网络不是万能的。
(7) 科学发展需要冷静，1972年，Teuvo Kohonen与James Anderson发明自组织神经网络，Stephen Grossberg观察到自组织神经网络的许多新性质。有很多科学家在逆境中坚持神经网络研究，取得好成绩。我有时感觉在不是很热的环境下更能做出进展来。所以没有必要追求时髦。
(8) 1960-1980计算机飞速发展，神经网络研究发展平静。计算机的研究发展遇到很多困难。1980年以后，神经网络又一次飞速发展，有点戏剧性。
(9) 1982年Hopfield用统计机制解释神经网络，使人们对神经网络的认识前进了一大步。1986年BP学习算法，解决了minsky与**t的问题。David Rumelhart与James McClelland给出。Hopfield神经网络能解TSP问题，实现了一个神经网络解6个点的TSP问题。很神，后来实践证明也不能求精确解。
(10) 1986年以后，大量的神经网络研究文章和研究项目，发现了很多神经网络的新性质和新应用。人工神经网络一定很有前途，现在缺乏真正的应用，用起来不方便。每个国家都投入很多资金研究神经网络。成果很多，神经网络也就真正成长为一门成熟的科学了。
 神经网络特点
未必二进制，没有明确的存储器，计算，控制分工模糊，没有控制程序，性能好，用起来不方便。不好控制，不好用。
1. 2神经网络应用
领域：
空间技术：飞行器控制系统，飞行器元件仿真，飞行器元件错误探测器。举个例子，飞行器在飞行中判断什么是云彩，有没有风，风力多大。将飞行器飞行的环境数据采集以后训练神经网络，由神经网络控制飞行器前进速度，方向。
Automotive：交通控制自动指示系统，红绿灯控制，摄像头照相看路上的车有多少，横穿马路人有多少，由此决定红灯还是绿灯，说着容易作着难。
银行：信贷申请评估器。
语音：语音识别，语音压缩，声调识别。现在主要的应用。
机器人，Defense，Electronics, ebtertainment，Fiancial, Insurance, Manufacturing, Medical, Securities, Transportation。很多领域都用，想用就能用。
1. 3生物基础

神经纤维，传递信号，数字信号，二进制数。
神经突触，数模转换。数字信号转换为模拟信号。
神经信号，二进制信号。
时空整合，将一个时段内的各个模拟信息相加就成了。我开始看焦李成的书，看不懂，看公式，认为相加就是时空整合。
第二章：神经元模型与神经网络结构
本章介绍人工神经网络的数学模型，从神经元开始。
1多输入神经元模型，

y=f()
= =WTX-
W=(w1,w2,…,wn)T
X=(x1,x2,…,xn)T。
解释：
(1)神经元有两种状态，兴奋/抑制。
(2)wi的含义：神经突触的作用，的含义，阈值。兴奋抑制。
(3)时空整合，求和。数模转换后相加。什么是时空整合？笼统，不知道什么意思，暂且理解为求和。
作用函数：
(1) hard limit
f()= ，=

(2) symmetric hard limit
f()= ，=

(3) linear
f()=，= ，线性

(4) saturating linear，
f()= ，=

(5) symmetric saturating linear
f()= ，=

(6) log-sigmoid
f()= ，=
(7) hyperbolic tangent sigmoid
f()= ，=
(8) positive linear
f()= ，=
2神经网络结构
(1) 前馈网络

(2) 反馈网络

(3) Recurrent神经网络

(4) 单层前馈神经网络
问题：
(1)每层有多少个神经元，每个神经元采用什么传递函数，每个连接的权值是多少？
(2)针对问题，确定神经网络，即为学习。
(3)用作记忆，具有联想能力的记忆函数，象人一样，识别字母，a, b, c, d, e, f, g, …, x, y, z.
还有其他种类的神经网络，等讲到时再说。
3神经网络学习规则
自己看，以后慢慢理解。
4应用实例

解采用hard-limit函数神经元

zan

集成电路, 工作原理, 计算机, 处理器, 科学家