- 在线时间
- 344 小时
- 最后登录
- 2015-7-18
- 注册时间
- 2011-4-7
- 听众数
- 4
- 收听数
- 0
- 能力
- 0 分
- 体力
- 6451 点
- 威望
- 0 点
- 阅读权限
- 100
- 积分
- 2306
- 相册
- 0
- 日志
- 0
- 记录
- 1
- 帖子
- 721
- 主题
- 4
- 精华
- 0
- 分享
- 0
- 好友
- 52
升级   10.2% TA的每日心情 | 开心 2015-7-3 16:05 |
|---|
签到天数: 689 天 [LV.9]以坛为家II
 群组: 2013年数学建模国赛备 群组: 中南民族大学 群组: 学术交流A 群组: 数学建摸协会 群组: 第三届数模基础实训 |
神经网络讲什么内容,讲计算模型,计算原理,工作原理,用途,实现方法。* B' r! f, d0 _) e e1 L+ k$ H
1什么是神经网络
4 b( |6 {; Y1 @* \& ~3 S1 @1. 1神经网络与计算机
9 E& U1 J) W1 f0 v: ^" l计算机:
3 G9 E: O3 R* j! A! W 四代计算机
- A- k6 v5 }% Y* N8 `电子管,晶体管,集成电路,大规模集成电路。智能计算机是第5代,智能计算机不容易。速度提高快,智能不见怎么样。! Y/ o3 P/ M* Z# f/ D7 L
计算机特点
" t6 x/ @1 c: f( N4 b- C二进制,5部分组成模块,存储程序。结构看:核心部件是中央处理器。专门存储部件,输入输出部件。; j6 |0 C# s9 r% M. F
神经网络发展史8 G+ I+ c: E1 B9 v9 r
充满传奇色彩,讲故事。每次讲课都讲历史,过去那些出色成绩的故事,做出出色成绩的人的故事。
( c5 P9 k- Z$ L' c5 q+ h(1) 神经网络来自人类对自己的研究,背景性研究起始于19世纪末,20世纪初。生物学家要搞清楚人或生命智能的道理。想办法解释自然现象,物理学。
) e" y, a9 g4 ~" y7 i) D" f1 I8 i: ?(2) 现代方式的神经网络研究神经网络研究,1940年,两个科学家:Warren McCulloch, Walter Pitts, 给出人工神经网络模型。现在人们使用的就是他们抽象出的神经元模型。* Q3 q1 J r! f3 A
(3) hebb规则,1949,生物神经元学习机制。神经元传递信息的原则,互相作用的原则。两个神经原同时兴奋,则两者的连接强度增强。
- s; c8 {& k/ k" e" p(4) 1958年,rosenblatt真正造了一个神经网络,号称perceptron,感知器。2 [+ y7 j, c4 V- I- j+ W5 @1 w
(5) 1960年,Bernard Widrow, Ted Hoff给出自适应线性神经网络,利用了widrow-hoff学习规则,应用于消除回声。真正应用,用于电话消除回声,很简单的元件。
0 ?5 t/ c2 J. f(6) 1969年,minsky与**t的书批评了感知器与自适应线性神经网络,打击了神经网络发展。从此神经网络发展陷入低谷。这个时代是计算机发展飞速,同时带有很多神秘感的时代。很多东西未能搞清楚,很有用,很吸引人的时代。大家都来研究计算机的人工智能是很正常的。Minsky的书中举了一个例子,说神经网络不是万能的。8 I w9 n9 m4 G; ^6 h' W
(7) 科学发展需要冷静,1972年,Teuvo Kohonen与James Anderson发明自组织神经网络,Stephen Grossberg观察到自组织神经网络的许多新性质。有很多科学家在逆境中坚持神经网络研究,取得好成绩。我有时感觉在不是很热的环境下更能做出进展来。所以没有必要追求时髦。, ^8 t# c9 u" A' v
(8) 1960-1980计算机飞速发展,神经网络研究发展平静。计算机的研究发展遇到很多困难。1980年以后,神经网络又一次飞速发展,有点戏剧性。
. n* k4 E) y* p' k$ T7 ^(9) 1982年Hopfield用统计机制解释神经网络,使人们对神经网络的认识前进了一大步。1986年BP学习算法,解决了minsky与**t的问题。David Rumelhart与James McClelland给出。Hopfield神经网络能解TSP问题,实现了一个神经网络解6个点的TSP问题。很神,后来实践证明也不能求精确解。8 C/ S' C+ b* s
(10) 1986年以后,大量的神经网络研究文章和研究项目,发现了很多神经网络的新性质和新应用。人工神经网络一定很有前途,现在缺乏真正的应用,用起来不方便。每个国家都投入很多资金研究神经网络。成果很多,神经网络也就真正成长为一门成熟的科学了。
6 i! Y: ^7 Y: V+ y. ]+ n 神经网络特点4 s; W4 _! j7 [/ i( K
未必二进制,没有明确的存储器,计算,控制分工模糊,没有控制程序,性能好,用起来不方便。不好控制,不好用。
3 l3 y' b/ }/ A7 G4 F. ~" t4 |# t9 A1. 2神经网络应用
, W: }: p3 j4 D- C, _. S领域:$ A; f$ _; a, q Y+ Y- Z
空间技术:飞行器控制系统,飞行器元件仿真,飞行器元件错误探测器。举个例子,飞行器在飞行中判断什么是云彩,有没有风,风力多大。将飞行器飞行的环境数据采集以后训练神经网络,由神经网络控制飞行器前进速度,方向。
3 C: H" X* `& lAutomotive:交通控制自动指示系统,红绿灯控制,摄像头照相看路上的车有多少,横穿马路人有多少,由此决定红灯还是绿灯,说着容易作着难。2 @% c. L! S( S, T: f2 s2 ]0 u
银行:信贷申请评估器。; W4 u2 n: M% S% |& J! s
语音:语音识别,语音压缩,声调识别。现在主要的应用。0 C% b# l8 W1 ~/ M
机器人,Defense,Electronics, ebtertainment,Fiancial, Insurance, Manufacturing, Medical, Securities, Transportation。很多领域都用,想用就能用。
: y+ W9 D5 g) |, h9 a1. 3生物基础. _, d% j8 w& {$ k5 F# P" o) ?
, S# G2 N* p* W7 G4 C- H) c0 g神经纤维,传递信号,数字信号,二进制数。' I/ M( m# @+ i; p5 w* R% T
神经突触,数模转换。数字信号转换为模拟信号。! b( x' D7 p* t, U+ k# E8 B
神经信号,二进制信号。% c: l* B; r: ?' C" G1 [
时空整合,将一个时段内的各个模拟信息相加就成了。我开始看焦李成的书,看不懂,看公式,认为相加就是时空整合。& T6 t$ g$ F9 K* s* ~! t
第二章:神经元模型与神经网络结构2 F$ e1 [3 I# S# d B4 H4 X+ o3 P! g
本章介绍人工神经网络的数学模型,从神经元开始。; @0 ]0 t: P7 M, ?5 o
1多输入神经元模型,% I' ^: D8 J, {! Q. q* w
$ m/ w, o r* w4 h' g O7 p6 u+ a
y=f(), T- P' e6 ?& T0 h
= =WTX-7 {4 h; K/ G! |+ h- g
W=(w1,w2,…,wn)T
6 x7 u: n9 z5 s( kX=(x1,x2,…,xn)T。
& P% S7 t3 d( Y1 ]解释:
& o" u! a2 T+ m, r+ U(1)神经元有两种状态,兴奋/抑制。7 @3 Q$ h: _. y7 } N
(2)wi的含义:神经突触的作用,的含义,阈值。兴奋抑制。! C( P4 m S& |& P" l+ ]
(3)时空整合,求和。数模转换后相加。什么是时空整合?笼统,不知道什么意思,暂且理解为求和。
8 M6 t. S; N! Q* {6 l作用函数:
) a9 q( H9 Y4 q(1) hard limit4 E" L: U+ `! ^4 ]% @% M) |) n$ ~
f()= ,= 0 y r: X( q# |3 |5 j
3 v% ? p! M8 T+ b4 x" h" J(2) symmetric hard limit
* f: k0 E; @# j# W* W' m) K0 i$ Jf()= ,=
* K, y" c9 u1 y. @' p K, h( g; F+ u! @, A
(3) linear" I$ g! V9 c% p! \6 g6 \8 y6 ~
f()=,= ,线性
5 Z5 y5 O9 u+ _" Y I 4 a, G# B9 c" ?7 x; O
(4) saturating linear,
, H! Z. ^2 q7 w( r O# kf()= ,= 5 [, J/ L' _! @# i. _% C" q' D1 ~
% i8 O% P3 p2 a! @ ^5 W(5) symmetric saturating linear
& C5 u8 t. x0 [' ^! {f()= ,=
) ?( L b8 U F- r' ? 8 t% s/ f1 a( A9 [
(6) log-sigmoid- X, I1 W) e; J+ E6 m `0 `
f()= ,=
1 U1 i2 ?( Y/ z% g: h(7) hyperbolic tangent sigmoid
" S8 L m0 e. |. O3 |f()= ,=
0 ]0 d+ C7 \+ l6 N# L(8) positive linear! @- } B% ]1 p/ t7 A6 O
f()= ,=
0 c! c+ k* n X2神经网络结构4 e5 g4 n, f$ s0 D9 Y
(1) 前馈网络: X, {/ L" j$ V9 v4 U* g
& p: E4 z9 f7 G8 ^
(2) 反馈网络5 T' |+ q& g i
1 }- [: z: E, A3 a; R) c7 P(3) Recurrent神经网络
0 a8 b5 K m/ _ ( L( }( t$ Q) m7 J3 G
(4) 单层前馈神经网络2 y3 [; F( |8 J, M- ~3 y I
问题:
! H$ P3 \+ G( F. v" p& U(1)每层有多少个神经元,每个神经元采用什么传递函数,每个连接的权值是多少?/ R C/ D* X! S3 f) g
(2)针对问题,确定神经网络,即为学习。
% o: j. Z! |8 Y# B3 a(3)用作记忆,具有联想能力的记忆函数,象人一样,识别字母,a, b, c, d, e, f, g, …, x, y, z.7 }4 ^. |3 g: [3 G4 C
还有其他种类的神经网络,等讲到时再说。+ b) Q6 n& H& |
3神经网络学习规则( P, D% u: j* G8 j" a
自己看,以后慢慢理解。1 J2 K* t" t* ~0 `
4应用实例
3 J7 b/ p8 H; y+ R+ N 5 n) V$ Z* F( p4 `1 ?
解采用hard-limit函数神经元2 W C0 E+ b& e8 }& s* \
! ~5 }7 C% A& u9 d
# g, V. }5 w9 i9 V* P, y( W& Q |
zan
|