数学建模社区-数学中国

标题: 第一章：神经网络概述 [打印本页]
作者: 137368108    时间: 2011-8-20 15:52
标题: 第一章：神经网络概述
神经网络讲什么内容，讲计算模型，计算原理，工作原理，用途，实现方法。" H& a# y( |) k8 v+ K! s
1什么是神经网络
+ A. l" u2 X, S1 \5 L( M1.        1神经网络与计算机* w- a" ?, f! L$ {- m
计算机：
) `3 {: k/ p0 W$ Z' C        四代计算机0 a  k! h" A* c
电子管，晶体管，集成电路，大规模集成电路。智能计算机是第5代，智能计算机不容易。速度提高快，智能不见怎么样。1 {" j9 o3 Q9 y- R
        计算机特点
6 U5 ]3 r- i0 {! A' @二进制，5部分组成模块，存储程序。结构看：核心部件是中央处理器。专门存储部件，输入输出部件。# m5 Y3 N* V2 q$ U8 r. E
        神经网络发展史
9 c% e4 t! e$ V! e充满传奇色彩，讲故事。每次讲课都讲历史，过去那些出色成绩的故事，做出出色成绩的人的故事。" h5 i7 \9 U3 f
(1)        神经网络来自人类对自己的研究，背景性研究起始于19世纪末，20世纪初。生物学家要搞清楚人或生命智能的道理。想办法解释自然现象，物理学。
) ?2 E$ Y% J! G, G(2)        现代方式的神经网络研究神经网络研究，1940年，两个科学家：Warren McCulloch, Walter Pitts, 给出人工神经网络模型。现在人们使用的就是他们抽象出的神经元模型。
1 \( |* Y) G# w: d; i. ?' O(3)        hebb规则，1949，生物神经元学习机制。神经元传递信息的原则，互相作用的原则。两个神经原同时兴奋，则两者的连接强度增强。3 R" d5 O* C, h( X' t3 i
(4)        1958年，rosenblatt真正造了一个神经网络，号称perceptron，感知器。, L, [5 E& N6 R2 r( _( R6 [! m
(5)        1960年，Bernard Widrow, Ted Hoff给出自适应线性神经网络，利用了widrow-hoff学习规则，应用于消除回声。真正应用，用于电话消除回声，很简单的元件。
+ U- t! N" E6 n: Q(6)        1969年，minsky与**t的书批评了感知器与自适应线性神经网络，打击了神经网络发展。从此神经网络发展陷入低谷。这个时代是计算机发展飞速，同时带有很多神秘感的时代。很多东西未能搞清楚，很有用，很吸引人的时代。大家都来研究计算机的人工智能是很正常的。Minsky的书中举了一个例子，说神经网络不是万能的。9 `; b9 O6 n1 e6 e
(7)        科学发展需要冷静，1972年，Teuvo Kohonen与James Anderson发明自组织神经网络，Stephen Grossberg观察到自组织神经网络的许多新性质。有很多科学家在逆境中坚持神经网络研究，取得好成绩。我有时感觉在不是很热的环境下更能做出进展来。所以没有必要追求时髦。3 b/ B  Z9 y1 P3 [" i: \2 g9 V
(8)        1960-1980计算机飞速发展，神经网络研究发展平静。计算机的研究发展遇到很多困难。1980年以后，神经网络又一次飞速发展，有点戏剧性。
, ]+ k/ c/ k( ~7 Z9 D: U; N8 i(9)        1982年Hopfield用统计机制解释神经网络，使人们对神经网络的认识前进了一大步。1986年BP学习算法，解决了minsky与**t的问题。David Rumelhart与James McClelland给出。Hopfield神经网络能解TSP问题，实现了一个神经网络解6个点的TSP问题。很神，后来实践证明也不能求精确解。5 y% R8 f5 W3 |- c4 f  |
(10)        1986年以后，大量的神经网络研究文章和研究项目，发现了很多神经网络的新性质和新应用。人工神经网络一定很有前途，现在缺乏真正的应用，用起来不方便。每个国家都投入很多资金研究神经网络。成果很多，神经网络也就真正成长为一门成熟的科学了。+ c1 y, j) ~' T9 Y! V
        神经网络特点. t$ W5 ?* M" K* E
未必二进制，没有明确的存储器，计算，控制分工模糊，没有控制程序，性能好，用起来不方便。不好控制，不好用。6 O$ t/ }' l+ b2 Z
1.        2神经网络应用
6 }3 O" c* n: L& T& L领域：
  \5 C" j! O' y% h2 H+ L8 J空间技术：飞行器控制系统，飞行器元件仿真，飞行器元件错误探测器。举个例子，飞行器在飞行中判断什么是云彩，有没有风，风力多大。将飞行器飞行的环境数据采集以后训练神经网络，由神经网络控制飞行器前进速度，方向。
9 r0 A' H+ ?; y) K8 _, ?7 [; uAutomotive：交通控制自动指示系统，红绿灯控制，摄像头照相看路上的车有多少，横穿马路人有多少，由此决定红灯还是绿灯，说着容易作着难。
6 Q! y' ~1 a# `8 Z  E7 c+ {1 e银行：信贷申请评估器。. Z; z' Z/ y, t
语音：语音识别，语音压缩，声调识别。现在主要的应用。8 y+ D) u: ?+ Z0 }% R$ b
机器人，Defense，Electronics, ebtertainment，Fiancial, Insurance, Manufacturing, Medical, Securities, Transportation。很多领域都用，想用就能用。: M& ]: p8 ]" b4 |+ o( Y7 O
1.        3生物基础
" i. z$ H0 A* R+ I0 F; N
1 n) T# D) Y" w* }& S神经纤维，传递信号，数字信号，二进制数。
9 }( Y* f! N; T4 r& X0 B' Z' H神经突触，数模转换。数字信号转换为模拟信号。
4 W; [$ s) m, y" A) k1 D$ m# k神经信号，二进制信号。3 P. @7 l, y: R  {: K# v
时空整合，将一个时段内的各个模拟信息相加就成了。我开始看焦李成的书，看不懂，看公式，认为相加就是时空整合。
: D1 E" p. o6 E+ C8 D; N第二章：神经元模型与神经网络结构
& x2 M2 v6 I% }9 k- o2 K* b/ H本章介绍人工神经网络的数学模型，从神经元开始。
1 b& p7 U! @+ Y! b, v- h7 h1多输入神经元模型，
$ y: y/ f  h7 w : G9 W, r$ _- }
y=f()
7 m# ~6 @0 }! r= =WTX-
6 i) ]6 `7 i4 L# KW=(w1,w2,…,wn)T3 |% y% v0 a( ^7 Z: G) O2 x
X=(x1,x2,…,xn)T。
8 h' V! j  K- ~7 K* ]解释：
6 x( q/ F; }- c8 Z- `3 i/ y(1)神经元有两种状态，兴奋/抑制。+ X( N& k, ?$ M9 ~7 X7 _! K
(2)wi的含义：神经突触的作用，的含义，阈值。兴奋抑制。# y# l' m- _9 G" y$ A! j+ e
(3)时空整合，求和。数模转换后相加。什么是时空整合？笼统，不知道什么意思，暂且理解为求和。
* {1 N" R' s9 I$ N; ?* u1 k作用函数：: Q9 k! ?. O5 C6 e. N
(1)        hard limit; B- W) J, t/ H* k6 z2 u5 X3 M/ k
f()= ，= , p8 \* Y1 V0 [( T: a3 U* W: h9 T
* `) a( t: W* c3 `2 E) p7 v
(2)        symmetric hard limit7 H+ Q  c' r' v0 Q# _& B7 P- u
f()= ，= 8 e) q1 w! d& O# b; r1 P/ U
4 L+ S% ~! T4 p" P
(3)        linear
- G* E3 k  J2 L8 K% ^  Wf()=，= ，线性' v+ _6 `, b' J3 [8 B: `- `/ F, t
- n6 o* c$ i3 O) h3 k$ m
(4)        saturating linear，
* r2 u) U' S5 N. Lf()= ，= 9 P9 q) g3 V0 y: P& H+ R! K

( g/ ~) z: k- c' _. j(5)        symmetric saturating linear
+ V7 W; l, K  H2 of()= ，=
; q- F# {- \! s, A! s! Z. z . j  Q3 l) F, S; x* O7 h2 a
(6)        log-sigmoid4 f& C0 ]/ U# ~: }/ X6 Y
f()= ，= 5 }' J4 @, w' R$ E) j$ r3 T8 u( \& @
(7)        hyperbolic tangent sigmoid
7 T, e! I) j2 e' V6 e* `3 R# jf()= ，=
4 p" O, A' X/ k) L(8)        positive linear
+ ?3 G0 N4 r# k0 }& I9 Df()= ，= ) z! I* o+ e% J9 S. p4 V1 Q5 h
2神经网络结构
+ y! u3 T, L* c2 V! g(1)        前馈网络$ \# n6 b6 S# J. D: z, A- v$ |  c; i
" |( D! V" e2 X( b+ G% @  w
(2)        反馈网络
7 Z" g0 \. I% D , g# y6 z, m' }$ S: ?- G
(3)        Recurrent神经网络* P1 K  e1 Z* ^

& t3 J; J, S" l( l(4)        单层前馈神经网络
+ }5 z8 H5 V2 P. U- S问题：5 M6 N) {$ R2 x2 ?" z' S2 E/ _
(1)每层有多少个神经元，每个神经元采用什么传递函数，每个连接的权值是多少？
# w" J- u9 {& I( h5 P1 q2 f. J5 ~(2)针对问题，确定神经网络，即为学习。! q. y, K0 M- D* V
(3)用作记忆，具有联想能力的记忆函数，象人一样，识别字母，a, b, c, d, e, f, g, …, x, y, z.; U0 j3 O0 ^9 @
还有其他种类的神经网络，等讲到时再说。
! O4 a. @2 Z) L! J) c% B) q3神经网络学习规则
8 Z/ R. c  w  a自己看，以后慢慢理解。
  O3 I& F, @' l+ B; Z( U4应用实例
( H0 X4 f/ [' b; \5 K: S
- L, k7 A9 w8 [3 v6 z解采用hard-limit函数神经元9 B0 ^+ \6 D9 Q+ B( r
- |3 {: }; H$ L8 ~/ a
' a2 l- o, f5 n! [8 W
作者: caibingyuan    时间: 2011-8-28 20:30
我狂晕！！！体力去了怎么又下不了！！！
作者: 怀空    时间: 2011-9-2 20:55
看看。。。。。。
作者: huaxiao6160    时间: 2011-12-27 17:16
神经这个东西不好学，看了半天看不懂
作者: 平平凡凡的我    时间: 2011-12-30 19:30
对我来说是比较高深的内容，还需要入门呀。
作者: 凌星    时间: 2012-1-15 09:16
kanqilaitingnande
作者: 你好漂亮    时间: 2012-1-18 18:55
..........
作者: Lovely君    时间: 2012-1-19 11:56
看不懂啊
作者: 凼凼    时间: 2012-1-19 17:17
这个东西怎么用，用得范围是什么，用来干什么
作者: gucci_purple    时间: 2013-1-6 17:05
顶顶啊啊~~
作者: lingxin179    时间: 2015-9-5 16:27
谢谢楼主分享1 [# e. j2 a7 j0 q




欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5