第一章：神经网络概述

137368108

神经网络讲什么内容，讲计算模型，计算原理，工作原理，用途，实现方法。
1 M2 f, G* l: F% g) `, C7 ?% y- z1什么是神经网络
1.        1神经网络与计算机
计算机：
        四代计算机
电子管，晶体管，集成电路，大规模集成电路。智能计算机是第5代，智能计算机不容易。速度提高快，智能不见怎么样。
+ l* ^7 J+ ~4 ]        计算机特点
二进制，5部分组成模块，存储程序。结构看：核心部件是中央处理器。专门存储部件，输入输出部件。
        神经网络发展史
充满传奇色彩，讲故事。每次讲课都讲历史，过去那些出色成绩的故事，做出出色成绩的人的故事。
(1)        神经网络来自人类对自己的研究，背景性研究起始于19世纪末，20世纪初。生物学家要搞清楚人或生命智能的道理。想办法解释自然现象，物理学。
(2)        现代方式的神经网络研究神经网络研究，1940年，两个科学家：Warren McCulloch, Walter Pitts, 给出人工神经网络模型。现在人们使用的就是他们抽象出的神经元模型。
6 o2 g2 a/ F# l* }# Q9 E9 V- I(3)        hebb规则，1949，生物神经元学习机制。神经元传递信息的原则，互相作用的原则。两个神经原同时兴奋，则两者的连接强度增强。
(4)        1958年，rosenblatt真正造了一个神经网络，号称perceptron，感知器。
# f# I! d# s+ Q(5)        1960年，Bernard Widrow, Ted Hoff给出自适应线性神经网络，利用了widrow-hoff学习规则，应用于消除回声。真正应用，用于电话消除回声，很简单的元件。
7 T$ A, v4 o: v2 v, g8 G2 l& D0 r(6)        1969年，minsky与**t的书批评了感知器与自适应线性神经网络，打击了神经网络发展。从此神经网络发展陷入低谷。这个时代是计算机发展飞速，同时带有很多神秘感的时代。很多东西未能搞清楚，很有用，很吸引人的时代。大家都来研究计算机的人工智能是很正常的。Minsky的书中举了一个例子，说神经网络不是万能的。
  t: d& g+ L$ Q(7)        科学发展需要冷静，1972年，Teuvo Kohonen与James Anderson发明自组织神经网络，Stephen Grossberg观察到自组织神经网络的许多新性质。有很多科学家在逆境中坚持神经网络研究，取得好成绩。我有时感觉在不是很热的环境下更能做出进展来。所以没有必要追求时髦。
  V+ \# I3 k) r6 {5 G(8)        1960-1980计算机飞速发展，神经网络研究发展平静。计算机的研究发展遇到很多困难。1980年以后，神经网络又一次飞速发展，有点戏剧性。
; \8 m; @7 g1 n4 u( S. m. g(9)        1982年Hopfield用统计机制解释神经网络，使人们对神经网络的认识前进了一大步。1986年BP学习算法，解决了minsky与**t的问题。David Rumelhart与James McClelland给出。Hopfield神经网络能解TSP问题，实现了一个神经网络解6个点的TSP问题。很神，后来实践证明也不能求精确解。
% o  W1 j+ R3 J0 a0 H(10)        1986年以后，大量的神经网络研究文章和研究项目，发现了很多神经网络的新性质和新应用。人工神经网络一定很有前途，现在缺乏真正的应用，用起来不方便。每个国家都投入很多资金研究神经网络。成果很多，神经网络也就真正成长为一门成熟的科学了。
        神经网络特点
未必二进制，没有明确的存储器，计算，控制分工模糊，没有控制程序，性能好，用起来不方便。不好控制，不好用。
$ M; \' k" p/ ~" D8 S1.        2神经网络应用
. i; Q" K# F- R5 J领域：
空间技术：飞行器控制系统，飞行器元件仿真，飞行器元件错误探测器。举个例子，飞行器在飞行中判断什么是云彩，有没有风，风力多大。将飞行器飞行的环境数据采集以后训练神经网络，由神经网络控制飞行器前进速度，方向。
' {7 s% y3 G) a$ A. t( RAutomotive：交通控制自动指示系统，红绿灯控制，摄像头照相看路上的车有多少，横穿马路人有多少，由此决定红灯还是绿灯，说着容易作着难。
; J) p4 w" d" {( T银行：信贷申请评估器。
0 W6 L. Z; R$ L# y0 ^. K8 C语音：语音识别，语音压缩，声调识别。现在主要的应用。
机器人，Defense，Electronics, ebtertainment，Fiancial, Insurance, Manufacturing, Medical, Securities, Transportation。很多领域都用，想用就能用。
8 c: m* w+ Y5 D1 x. Y* p1.        3生物基础
, s0 l6 C7 A( [, d- d! A4 R6 z
: b' E3 ~  \& z3 n& [* @9 K: T神经纤维，传递信号，数字信号，二进制数。
神经突触，数模转换。数字信号转换为模拟信号。
神经信号，二进制信号。
时空整合，将一个时段内的各个模拟信息相加就成了。我开始看焦李成的书，看不懂，看公式，认为相加就是时空整合。
第二章：神经元模型与神经网络结构
本章介绍人工神经网络的数学模型，从神经元开始。
1多输入神经元模型，
" _8 b% Y- z+ [
y=f()
= =WTX-
; G, O- l( W  `3 x0 JW=(w1,w2,…,wn)T
0 P5 O) O, k0 l% ?X=(x1,x2,…,xn)T。
解释：
(1)神经元有两种状态，兴奋/抑制。
(2)wi的含义：神经突触的作用，的含义，阈值。兴奋抑制。
2 t7 W# G$ U+ O(3)时空整合，求和。数模转换后相加。什么是时空整合？笼统，不知道什么意思，暂且理解为求和。
作用函数：
: L' ?' P9 V" n! o, Z6 S(1)        hard limit
- C5 Q4 M! K, B; E" H/ @; F5 I) |f()= ，=
' e, K* U1 Y9 _. m( A3 R2 D. O- j
(2)        symmetric hard limit
f()= ，=
- m7 O: w& [" L. R( m
(3)        linear
f()=，= ，线性
4 Y8 y# a3 F" i! D) F/ ?
( t! g' m' b+ p( v5 r: ]" T(4)        saturating linear，
# A2 r2 s" b( b" ~f()= ，=

# U) \/ z1 n- o0 J) ^: L(5)        symmetric saturating linear
5 n$ `1 q6 u! H# J% K' _f()= ，=

(6)        log-sigmoid
f()= ，=
(7)        hyperbolic tangent sigmoid
f()= ，=
(8)        positive linear
/ s: f  t6 D: M, s% R, Q4 hf()= ，=
2神经网络结构
; e# S# J) m/ h/ M(1)        前馈网络
! l4 d7 w, v3 ^. @+ K  T
$ l/ j- B) ]  j7 M4 e; f7 W# u7 |(2)        反馈网络
4 F. d6 q: k2 @4 ?* ]
(3)        Recurrent神经网络

1 j) B2 k5 w) b* Z(4)        单层前馈神经网络
问题：
(1)每层有多少个神经元，每个神经元采用什么传递函数，每个连接的权值是多少？
(2)针对问题，确定神经网络，即为学习。
(3)用作记忆，具有联想能力的记忆函数，象人一样，识别字母，a, b, c, d, e, f, g, …, x, y, z.
还有其他种类的神经网络，等讲到时再说。
1 g9 j: o  @! X$ u( [, d( z3神经网络学习规则
自己看，以后慢慢理解。
4应用实例

5 _- H0 K5 I- U& z3 \: u4 Z7 R解采用hard-limit函数神经元


( Y' g) Y  k) ^: D8 }# y

caibingyuan

我狂晕！！！体力去了怎么又下不了！！！

怀空

看看。。。。。。

huaxiao6160

神经这个东西不好学，看了半天看不懂

平平凡凡的我

对我来说是比较高深的内容，还需要入门呀。

凌星

kanqilaitingnande

你好漂亮

..........

Lovely君

看不懂啊

凼凼

这个东西怎么用，用得范围是什么，用来干什么

gucci_purple

顶顶啊啊~~