第一章：神经网络概述

137368108

神经网络讲什么内容，讲计算模型，计算原理，工作原理，用途，实现方法。
1什么是神经网络
1.        1神经网络与计算机
% S6 q. a, G( U6 S计算机：
2 }! d# t2 B$ v        四代计算机
& }- e0 v7 _% N. ~; D& |$ N) R电子管，晶体管，集成电路，大规模集成电路。智能计算机是第5代，智能计算机不容易。速度提高快，智能不见怎么样。
3 K0 N9 @$ O+ q% e9 q        计算机特点
二进制，5部分组成模块，存储程序。结构看：核心部件是中央处理器。专门存储部件，输入输出部件。
* r& @1 |) z9 V5 B        神经网络发展史
( n1 Z' |' G) m& c充满传奇色彩，讲故事。每次讲课都讲历史，过去那些出色成绩的故事，做出出色成绩的人的故事。
(1)        神经网络来自人类对自己的研究，背景性研究起始于19世纪末，20世纪初。生物学家要搞清楚人或生命智能的道理。想办法解释自然现象，物理学。
(2)        现代方式的神经网络研究神经网络研究，1940年，两个科学家：Warren McCulloch, Walter Pitts, 给出人工神经网络模型。现在人们使用的就是他们抽象出的神经元模型。
0 A6 a3 S) d8 z% K6 |$ g( M  W(3)        hebb规则，1949，生物神经元学习机制。神经元传递信息的原则，互相作用的原则。两个神经原同时兴奋，则两者的连接强度增强。
(4)        1958年，rosenblatt真正造了一个神经网络，号称perceptron，感知器。
(5)        1960年，Bernard Widrow, Ted Hoff给出自适应线性神经网络，利用了widrow-hoff学习规则，应用于消除回声。真正应用，用于电话消除回声，很简单的元件。
2 T  V$ y# o; _& W0 T1 G(6)        1969年，minsky与**t的书批评了感知器与自适应线性神经网络，打击了神经网络发展。从此神经网络发展陷入低谷。这个时代是计算机发展飞速，同时带有很多神秘感的时代。很多东西未能搞清楚，很有用，很吸引人的时代。大家都来研究计算机的人工智能是很正常的。Minsky的书中举了一个例子，说神经网络不是万能的。
(7)        科学发展需要冷静，1972年，Teuvo Kohonen与James Anderson发明自组织神经网络，Stephen Grossberg观察到自组织神经网络的许多新性质。有很多科学家在逆境中坚持神经网络研究，取得好成绩。我有时感觉在不是很热的环境下更能做出进展来。所以没有必要追求时髦。
(8)        1960-1980计算机飞速发展，神经网络研究发展平静。计算机的研究发展遇到很多困难。1980年以后，神经网络又一次飞速发展，有点戏剧性。
(9)        1982年Hopfield用统计机制解释神经网络，使人们对神经网络的认识前进了一大步。1986年BP学习算法，解决了minsky与**t的问题。David Rumelhart与James McClelland给出。Hopfield神经网络能解TSP问题，实现了一个神经网络解6个点的TSP问题。很神，后来实践证明也不能求精确解。
! w! Z* S0 v' Q% j* B) g(10)        1986年以后，大量的神经网络研究文章和研究项目，发现了很多神经网络的新性质和新应用。人工神经网络一定很有前途，现在缺乏真正的应用，用起来不方便。每个国家都投入很多资金研究神经网络。成果很多，神经网络也就真正成长为一门成熟的科学了。
        神经网络特点
未必二进制，没有明确的存储器，计算，控制分工模糊，没有控制程序，性能好，用起来不方便。不好控制，不好用。
1.        2神经网络应用
领域：
3 a, h  D% P* [. e9 P2 X) F空间技术：飞行器控制系统，飞行器元件仿真，飞行器元件错误探测器。举个例子，飞行器在飞行中判断什么是云彩，有没有风，风力多大。将飞行器飞行的环境数据采集以后训练神经网络，由神经网络控制飞行器前进速度，方向。
+ L- \* q4 R9 a1 C/ |Automotive：交通控制自动指示系统，红绿灯控制，摄像头照相看路上的车有多少，横穿马路人有多少，由此决定红灯还是绿灯，说着容易作着难。
( u% W% p5 X. f$ P) v1 h4 R银行：信贷申请评估器。
语音：语音识别，语音压缩，声调识别。现在主要的应用。
, ]7 ^9 D3 y4 d; G机器人，Defense，Electronics, ebtertainment，Fiancial, Insurance, Manufacturing, Medical, Securities, Transportation。很多领域都用，想用就能用。
) o3 @8 U6 e3 o9 o; ]+ P- r$ \1.        3生物基础
; H$ F5 J; w  l; @, s- X
/ W9 \/ m# I9 N/ ~* r神经纤维，传递信号，数字信号，二进制数。
神经突触，数模转换。数字信号转换为模拟信号。
8 x; k, A* B' D1 J4 ?神经信号，二进制信号。
时空整合，将一个时段内的各个模拟信息相加就成了。我开始看焦李成的书，看不懂，看公式，认为相加就是时空整合。
# o) S0 C: [0 j, f第二章：神经元模型与神经网络结构
本章介绍人工神经网络的数学模型，从神经元开始。
# d- ?8 d0 t& a! l/ X  e% e1多输入神经元模型，

6 s3 K8 P5 S, N. K  My=f()
# L$ R: T2 o  l! |4 O= =WTX-
W=(w1,w2,…,wn)T
. o; m; [* @5 ~9 s# z% c4 qX=(x1,x2,…,xn)T。
5 Z2 u8 H% B1 G& U解释：
(1)神经元有两种状态，兴奋/抑制。
/ t) y/ V) f1 O( ]( B) |1 @) X(2)wi的含义：神经突触的作用，的含义，阈值。兴奋抑制。
, T1 H1 T8 l7 y+ L(3)时空整合，求和。数模转换后相加。什么是时空整合？笼统，不知道什么意思，暂且理解为求和。
* e% m  K  h5 E3 ]0 |作用函数：
6 ]4 U6 w5 U; F2 K(1)        hard limit
f()= ，=

) U$ n1 Z, i7 b* W- g(2)        symmetric hard limit
f()= ，=
8 b' @7 B5 u6 q$ E
/ F4 u/ f$ v6 \* @2 O# B2 T4 ~(3)        linear
f()=，= ，线性

(4)        saturating linear，
f()= ，=
( z4 L! w$ u0 h" C/ y
(5)        symmetric saturating linear
f()= ，=

* {( a7 F) d+ f) O5 o(6)        log-sigmoid
4 ]/ D0 H$ q' b. Yf()= ，=
(7)        hyperbolic tangent sigmoid
f()= ，=
) n* o$ @2 r; N. `/ b% u% \# D(8)        positive linear
* U$ g8 k! v. m/ l7 @" zf()= ，=
2神经网络结构
6 Q0 V; ?' |9 ^& f; [(1)        前馈网络
' u: R* U' [! I3 e4 D8 s
(2)        反馈网络
" N6 p' c8 p% w) a2 k' P' c
' h4 S' K# Y# x" Z& o3 S7 A(3)        Recurrent神经网络
7 h7 x) j( g# v2 D8 g# e( W
4 O- f# b) C/ k8 g$ S(4)        单层前馈神经网络
: r$ y* u" g* Y9 [9 z问题：
(1)每层有多少个神经元，每个神经元采用什么传递函数，每个连接的权值是多少？
! s0 R/ e. l) ?- G6 H* Y(2)针对问题，确定神经网络，即为学习。
* q9 n7 k) w. B' a, t% g(3)用作记忆，具有联想能力的记忆函数，象人一样，识别字母，a, b, c, d, e, f, g, …, x, y, z.
- y7 o/ p) w8 \. g" k! H& s还有其他种类的神经网络，等讲到时再说。
3神经网络学习规则
自己看，以后慢慢理解。
  M  ~9 `. x- {* u) d4应用实例

解采用hard-limit函数神经元
) U" X* X* [- j# d/ |2 s
3 x& c' L' u6 S$ |3 k8 X4 d6 A

lingxin179

谢谢楼主分享

gucci_purple

顶顶啊啊~~

凼凼

这个东西怎么用，用得范围是什么，用来干什么

Lovely君

看不懂啊

你好漂亮

..........

凌星

kanqilaitingnande

平平凡凡的我

对我来说是比较高深的内容，还需要入门呀。

huaxiao6160

神经这个东西不好学，看了半天看不懂

怀空

看看。。。。。。