【源代码】C++的BP算法源程序神经网络

[复制链接]

字体大小: 正常放大

ebookSharing

33 主题	8 听众	31 积分

升级 27.37%

该用户从未签到

电梯直达

1^#

发表于 2008-9-15 19:34 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

#include "iostream.h"
! x3 D* o0 n; C6 N
#include "iomanip.h"5 k7 ~1 _, {: Z; _5 s5 J n
#define N 20 //学习样本个数
) p1 P& L6 Z! u0 s
#define IN 1 //输入层神经元数目, y3 f9 [* g3 U
#define HN 8 //隐层神经元数目
1 G) K0 {7 h' l0 m- Q* ?! u3 C
#define ON 1 //输出层神经元数目
; _/ K7 K6 T2 X\" I8 J: ~: j) D
double P[IN]; //单个样本输入数据! \4 E5 e' g- T
double T[ON]; //单个样本教师数据
& h6 u/ n2 V: U% b o y
double W[HN][IN]; //输入层至隐层权值
/ g2 p p* Y5 n$ D3 F9 l
double V[ON][HN]; //隐层至输出层权值
' n9 p; a: d# I( ^# s/ l
double X[HN]; //隐层的输入8 v- x( D; k% i\" T$ L/ v; a$ Q
double Y[ON]; //输出层的输入
3 J\" E7 _! d0 N! d x, F
double H[HN]; //隐层的输出
2 p. ~' V6 U1 |% W- V$ l3 z
double O[ON]; //输出层的输出8 s/ f6 x; L! X4 |) t, x( l, g
double sita[HN]; //隐层的阈值
! O% o8 {( p9 g/ [ R8 u
double gama[ON]; //输出层的阈值
) \ |- N7 Y\" k4 L# `* m
double err_m[N]; //第m个样本的总误差
) N7 i4 N# W2 F! o
double alpha; //输出层至隐层的学习效率
0 d z! G2 N6 g
double beta; //隐层至输入层学习效率
: B; `* C& q+ c o8 X. ]' Q
//定义一个放学习样本的结构! g) w, X# N- `% b }
struct {! b% |9 r: `2 K$ j
double input[IN];
7 h3 t& x/ z9 K$ J\" {$ z
double teach[ON];
g4 c$ ?4 Z; w
}Study_Data[N][IN];
- Q; g7 r, H( f% S9 C/ H Z
q) T+ u; G5 u1 y% P6 R' z
///////////////////////////! F, F1 O/ M' h7 [3 T7 K\" f5 V
//初始化权、阈值子程序/////
+ y. e Y2 h, F# h |1 G% {! Z+ ?
///////////////////////////9 j0 C' m6 @ [( Q* E
initial()$ P6 ]; b, j& V9 ~: {+ l
{
+ C' F8 O* b& H1 w: P. I( W8 ]0 L
float sgn;
\" k8 ?4 B J% k% ~& s! o1 v7 _
float rnd;/ G8 U4 |/ ?/ E6 e- X# q1 X: G9 \
int i,j;
7 I0 j! j, r; o+ k7 n: D: u) g
//隐层权、阈值初始化//
% @0 J4 P- b. S; Z/ b
{8 {4 D5 j! V/ |8 n3 \! Z\" ~; s% o
//sgn=pow((-1),random(100));
9 E L5 B+ b9 ^( [
sgn=rand();9 W4 a4 p% h* p1 f$ X! k
rnd=sgn*(rand()%100);
6 u' f/ [7 l7 l+ Z) g4 i
W[j][i]= rnd/100;//隐层权值初始化。6 p2 n& f, s- }: I
}
7 c4 C0 c, ?1 m0 r$ g8 a- _ C, b
//randomize();
4 Q( I) e# X% P, p3 c3 i6 ]- R
{
: {! q0 |% i\" A7 T
//sgn=pow((-1),random(1000));/ X& x6 X/ j- y' n8 \+ ?
sgn=rand();5 c$ d4 t2 u4 t6 n
rnd=sgn*(rand()%1000);: ?3 l& l7 v W) k7 B' ?
sita[j]= rnd/1000;//中间层阈值初始化; w; Q6 `: c% ~
cout<<"sita"<<sita[j]<<endl;( i- F+ N- |$ q% P' P. w/ m: p4 K3 ?
}
9 K/ Z8 v) f( ~$ | j
//输出层权、阈值初始化//( W! @; V' _. x7 E# }9 ~! Z
//randomize();2 ~4 |! {+ ?* v5 J+ P. k; m3 G
for (int k=0;k<ON;k++)8 y2 W5 l: U. U3 R% H- S7 Y C
for (int j=0;j<HN;j++)
' X2 K \$ q; G9 U$ E
{$ C: t5 h; Y- H1 k/ ]
//sgn=pow((-1),random(1000));/ t4 o9 ? s: m\" q$ _& m' }& t/ T, s9 x
sgn=rand();* W- }% Q% [7 c0 L& U
rnd=sgn*(rand()%1000);
- _; r( n3 Q\" s; q( ^
V[k][j]=rnd/1000;//第m个样本输出层权值初始化
+ o0 q) U: Z* n/ X. v$ j' @4 `3 z
}' ?! |: I\" n, {8 ~& n3 k
//randomize();4 u( k) ~7 M0 M( w* V; W. w) c2 l
{* B) H- o& |) p$ H2 M
//sgn=pow((-1),random(10));
1 r% w6 k2 X/ r% k' T8 t
sgn=rand();0 h1 t( w: i4 y6 `
rnd=sgn*(rand()%10);
1 A* ^ l a& c0 S x
gama[k]=rnd/10;//输出层阈值初始化
% s. |8 h1 N; O7 i$ n8 U0 i
cout<<"gama[k]"<<endl;
' C, g5 Q' d& r; j! }2 \
}
; y7 u: @1 b\" e8 c8 |) H
return 1;3 D) q2 k, z0 B- S
+ D0 O0 ?# d( i, r. w0 k* S4 E
}//子程序initial()结束, n4 W\" v# F$ a' E( j( c! J
0 _6 m9 i2 [1 J6 Q7 O( O- t\" Z
////////////////////////////////
2 ?7 I\" `1 _9 K\" ?! a( w2 ?8 N
////第m个学习样本输入子程序///
\" Y- f$ W# ~4 b+ R; H
///////////////////////////////, T9 q# U- N) ]( Y, v4 P/ H
input_P(int m)
- Y; n5 n\" |* z+ }
{# ~, u+ _. w$ U9 j# t M
for (int i=0;i<IN;i++)
4 x! }$ w, ?& Y8 [8 l4 k4 e
P[i]=Study_Data[m]->input[i];
; I2 x6 b! [4 y0 y
//获得第m个样本的数据
. I. [2 ]) c. d( a
//cout<<"第"< //fprintf(fp,"第%d个样本的学习输入：
$ ~: p5 k* ]4 }# ^3 N1 {9 t% U
//P[%d]=%f\n",m,P[i]);
# t) {0 g, w8 n! L# G
return 1;
\" t6 Y: d% @8 d! r4 a' `
}//子程序input_P(m）结束2 b1 M& x2 ]& {1 w) @* ]
/////////////////////////////
) V2 k5 ]/ \; h
////第m个样本教师信号子程序//' I5 S M6 @\" N2 o% s( i( _1 R8 H8 Z
/////////////////////////////3 t7 a+ m, s. x& I7 I6 w1 Z
input_T(int m)
/ @! y6 u4 ]4 b g
{& o/ P4 j( }( [) F* Z
for (int k=0;k<m;k++)! ~% B5 p3 m- O% I7 b( I$ z/ p
T[k]=Study_Data[m]->teach[k];
& K! O5 z2 _5 W$ N5 F9 X* M
//cout<<"第"< /// [; A- _! P0 `( Y; W5 ]8 e& O$ B& P
fprintf(fp,"第%d个样本的教师信号：T[%d]=%f\n",m,T[k]);
5 d* ]) \& n0 k+ A! P: h
return 1;5 v7 l# W& C7 w( ]
}//子程序input_T(m)结束
; g+ _ s, f: h7 s
/////////////////////////////////, |: E\" S5 a\" R3 C8 v
//隐层各单元输入、输出值子程序///
$ Q. M- b, b, j% _: r
/////////////////////////////////
! T' t) o9 `2 \$ @+ F7 c
H_I_O(){$ N) W( r5 s/ s# Q
double sigma;( K9 J0 N* P' P5 g
int i,j;, X0 r( F8 |: |8 U
for (j=0;j<HN;j++)& w2 H7 f3 E4 O\" z ` E, A$ z
sigma=0.0;4 [* N+ ~& H; m/ Z' k2 K
for (i=0;i<IN;i++)
( @/ F |# B' m; ^6 c' @ L9 x
sigma+=W[j][i]*P[i];//求隐层内积
8 \ y/ T$ b5 X; `, e: [' A1 ?
}% _+ e9 c/ Y& l1 |5 G
X[j]=sigma - sita[i];//求隐层净输入+ Z$ Z _& p1 p! B4 L0 v
H[j]=1.0/(1.0+exp(-X[j]));//求隐层输出
- ~, _5 D. k( q
}! t- U* M: K+ Z' `. K1 Q% l
return 1;2 p- F: |5 Y$ D5 \
}//子程序H_I_O()结束
5 R7 v) P) G$ ]: C
///////////////////////////////////
) `5 y2 `0 e4 [/ `
//输出层各单元输入、输出值子程序///\" K2 h6 l f& ^, A# h
///////////////////////////////////2 b; B+ y8 n- r% @2 j9 i
O_I_O()
$ s* x% D' F0 r) Y& L7 s* t
{
7 ]7 {% q/ ~7 R! u) V
double sigma;
9 E; q! ]) T/ W ]' P
for (int k=0;k<ON;k++)6 Q/ s- i4 V$ m: ]/ }, r
sigma=0.0;% t2 h1 W2 `\" ^; s+ v6 M i
for (int j=0;j<HN;j++)7 Q, K; S7 [) i9 \, O
sigma+=V[k][j]*H[k];//求输出层内积* L+ L, O2 C |9 _* S. g
}
0 E+ ?6 B! {! b8 n' V
Y[k]=sigma-gama[k]; //求输出层净输入: ~1 _: y; A Q& Z7 P D/ _2 R
O[k]=1.0/(1.0+exp(-Y[k]));//求输出层输出
/ i\" M/ g) m3 N8 m9 J0 p
}+ x9 F( O0 @& s& n
return 1;
5 v/ g# k. Y, b. C2 P. d
}//子程序O_I_O()结束- G& `+ C. @6 {\" c8 Z
////////////////////////////////////7 z# I4 _- V# _) m/ e; p
//输出层至隐层的一般化误差子程序////, \! ^; f) @* N* {) b
////////////////////////////////////
A/ O T) x4 w
double d_err[ON];/ F- x; |% c8 t; d1 x
Err_O_H(int m)
$ T4 [% B3 o& ^7 `. c# A4 j
{
& U3 C* e' X) ?4 y) O. r1 N
double abs_err[ON];//每个样本的绝对误差都是从0开始的. A) d6 ]8 f5 \. M# Y& f; J% }& I
double sqr_err=0;//每个样本的平方误差计算都是从0开始的4 {; {\" c, M; X; i
//for (int output=0;output<ON;output++) //output???
7 P# ]+ e, V! u; t0 u
for (int k=0;k<ON;k++)0 q$ h9 e/ x3 k# O6 X7 ]% U+ r' c
abs_err[k]=T[k]-O[k];
6 ] C4 e9 c- n! K7 F
//求第m个样本下的第k个神经元的绝对误差
/ L/ [- t t: G* p: |+ a; t- J
sqr_err+=(abs_err[k])*(abs_err[k]);
! b( o$ Z# r/ `% o9 x, V- g( x
//求第m个样本下输出层的平方误差
, m9 c* B2 o0 k7 v1 K4 R! G
d_err[k]=abs_err[k]*O[k]*(1.0-O[k]);% x$ r8 O: Z3 Z: S
//d_err[k]输出层各神经元的一般化误差# r1 v( l% Z. E8 n) s
}
- |- s+ X\" ]4 O+ d2 ~' ~
err_m[m]=sqr_err/2;& `2 K- \& b' A3 x) ~
//第m个样本下输出层的平方误差/2=第m个样本的均方误差 A4 M5 \8 N2 p\" h% w- k( m+ N: l% ?
return 1;
& \3 [\" P- Z) G# z! r2 ?
}//子程序Err_O_H(m)结束
2 o; W+ X7 [1 t. k: t
////////////////////////////////////1 k! U2 T- F+ W
//隐层至输入层的一般化误差子程序////\" D1 O& n9 G8 v& R2 _
////////////////////////////////////+ n& v; P+ e0 R! @5 h8 @
double e_err[HN];
9 B* M+ b4 P5 O9 f! Z
Err_H_I(){
6 p! j; E9 e; V7 p* j( Q, s- O
double sigma;
1 D9 C* N, n0 B+ d
//for (int hidden=0;hidden9 ~, \# _ ^/ y8 I8 @\" ^
for (int j=0;j<HN;j++)
* p6 B- m\" [! d- ]. M
sigma=0.0;# X\" J5 D! Q0 o( F0 j8 t
for (int k=0;k<ON;k++)
# p) _+ \' C: t7 B2 j$ n
sigma=d_err[k]*V[k][j];
+ L. C- T' p2 A) [+ K
}/ x( R\" s+ y\" N\" K\" H, k! m
e_err[j]=sigma*H[j]*(1-H[j]);//隐层各神经元的一般化误差 e0 T- u7 P' }7 k8 E; s
}) S$ N' `: g- N
return 1;+ f6 p1 C( `$ o) }+ T\" b9 g# G
}//子程序Err_H_I()结束# N K$ Y1 n. p& { J6 E
////////////////////////////////////////////////////////) e' f' r0 E' G. Y |
//输出层至隐层的权值调整、输出层阈值调整计算子程序//////2 b9 D. k9 |\" h/ c4 p2 m' i
////////////////////////////////////////////////////////$ C( Q& w\" ]+ p6 E6 O. \
Delta_O_H(int m,FILE* fp)
% L: s% \1 V% d; B+ M
{
# L: ~/ s3 }( C0 u\" o' K1 U
for (int k=0;k<ON;k++)
' j3 Q% \9 H; F7 {) h\" ?) r/ ]4 T
for (int j=0;j<HN;j++)3 p9 }2 N5 B: s3 s, a* m
//cout<<"第"<
$ a; c; q6 S4 X0 w\" ~$ q
fprintf(fp,"第%d个样本时的输出层至隐层的权值为：%f\n",m,W[k][j]);
1 V2 _8 ~8 q# n
V[k][j]+=alpha*d_err[k]*H[j];//输出层至隐层的权值调整\" P5 e- p1 j, U2 o\" y0 Q
}
/ R& W: Q6 V; _
gama[k]+=alpha*d_err[k];//输出层至隐层的阈值调整$ J z4 C9 d4 e# E# a
}
# Y; ^% X% V- t, a; ], W; @
return 1;
* E* |0 J, P5 U! p
}//子程序Delta_O_H()结束) Y. V2 H x Y1 U
/////////////////////////////////////////////////////
T# `2 t& B o5 j\" D( d
//隐层至输入层的权值调整、隐层阈值调整计算子程序/////6 b+ F* _7 j! g
/////////////////////////////////////////////////////) V s9 P% x/ I
Delta_H_I(int m,FILE* fp)2 S& |( |% E- A8 `9 ]8 F0 ~$ z7 o
{
1 @1 n( {' u5 ~) H
for (int j=0;j<HN;j++)3 T0 v. J4 | l T
for (int i=0;i<IN;i++) / Q, t+ ?% q& V' c
//cout<<"第"< fprintf(fp,"第%d个样本时的输出层至隐层的权值为：%f\n",m,V[j][i]);
- x\" Z- o6 y$ O$ U7 D: R0 `& K! U
W[j][i]+=beta*e_err[j]*P[i];//隐层至输入层的权值调整 N3 x. U' f! }3 E' y- Q0 N) e
}
4 F$ d1 ?\" A/ A/ Q3 s- @0 C p
sita[j]+=beta*e_err[j];& w* C/ F7 Q7 n1 ^% k s
}
# I- d( ^: d7 O/ V
return 1;, L\" w) T: g7 d% K
}//子程序Delta_H_I()结束
, j* l% B3 L/ u* J\" |( K
/////////////////////////////////
3 W! o' K; P\" s! ]/ `
//N个样本的全局误差计算子程序////8 |, O1 ?3 `- J
/////////////////////////////////
1 J' N! V- n4 d! @' D( S
double Err_Sum()
6 r& ~' C) D) ^9 F& N' i( N) p
{\" j8 n3 _) v4 z4 {: s' b
double total_err=0;
: P/ M9 ~, e, I
for (int m=0;m<N;m++) \" ^# h ?& B3 p+ X; Q
total_err+=err_m[m];//每个样本的均方误差加起来就成了全局误差) N# o; G0 m. r# k3 ?+ P/ J- r* G
}
\" ]: @: n! ?1 ~8 W& e4 D8 y0 C* Y
return 1;
2 x- Z% h\" O i
}//子程序Err_sum()结束7 X) S6 P; x6 B8 J# [/ y. l
/**********************/' ?7 ?; E0 [; g: h. [7 [
/**程序入口，即主程序**/( p6 _- b$ D8 T/ f% t/ f; J2 C9 T4 E' S8 |
/**********************/: l( [! O$ ~0 O6 y1 a
main()4 y; y4 i# O' u, Y# J/ s) ^5 N
{
% }. v/ [( r2 M4 Q8 u' o+ Y
FILE *fp;2 F& j+ ?$ f, ]. o7 [* v$ C
double sum_err;
( {: f2 l5 W# x; f' {0 K) X
int study;//训练次数' J1 _& |2 ]: N# e8 V6 l
if ((fp=fopen("bp.txt","a+"))==NULL) G% n6 X9 f9 u4 L3 J; `4 y
{
+ H- c! Y2 U* X
printf("不能创建bp.txt文件!\n");
2 V6 X. i m2 N) V; p
exit(1);
, n2 b% D8 x) ]
}
) h$ F& j3 G) ~5 j# T
cout<<"请输入输出层到隐含层学习效率: alpha=\n";
' @9 D2 W9 V/ x/ L- e$ _
cin>>alpha;\" F3 o$ h/ q) M& h
cout<<"请输入隐含层到输入层学习效率: beta=\n";
+ o' u3 f8 G7 R4 X: a6 ~7 h' T+ j
cin>>beta;
7 O, P% b8 e, G/ F: o6 U6 s
int study=0; //学习次数
% h4 ?; Z9 E, w) j
double Pre_error ; //预定误差3 H8 n4 Y* s+ v6 c\" O\" B\" N
cout<<"请输入预定误差: Pre_error= \n";+ l ^2 l' C, T7 b0 \) _
cin>>Pre_error;3 ?, ?! H1 g/ W# |5 n% d0 A- S
int Pre_times;
! \2 b0 D( `0 ?! I6 L7 d X- @- P
cout<<"请输入预定最大学习次数:Pre_times=\n";; e1 y; H' W4 M
cin>>Pre_times;5 H6 Y* ^/ k P. A! f
cout<<"请输入学习样本数据\n";
4 `* s0 m\" k% |1 x
{
! \; D, [0 E7 K: [8 o\" _* E
for (int m=0;m<N;m++)- b1 L\" m W( {- o' \; ~: H9 ?\" h
cout<<"请输入第"<<m+1<<"组学习样本"<<endl;
0 s: [! _; }, Q4 K; V1 s
for (int i=0;i<IN;i++)) x' H% C3 n# |3 ^) S- |
cin>>Study_Data[m]->input[i];
$ K: n2 k! b0 w* C2 I: v) I
}6 Z8 l* S0 h3 n5 N* y\" r$ K8 D
{ % o0 h8 g0 Y$ t: `' ]
for (int m=0;m<N;m++)( I7 g9 j! V8 Q. b! G\" F
cout<<"请输入第"<<m+1<<"组教师样本"<<endl;
7 u2 N/ V+ {& g$ S( T# E
for (int k=0;k<ON;k++)) I* M+ q. Y% m8 B; [ t
cin>>Study_Data[m]->teach[k];) ?; k$ C$ A* P/ @% |
}9 H3 y, g* w o9 B# Z
initial(); //隐层、输出层权、阈值初始化 (1) 4 u\" T2 z- m: l' n7 L( u
do
\" R+ P) ?% P7 _8 ]- D) u: ]: J! i* k
{$ O) ~\" ]' {( [
++study; ///???6 V+ `/ u% s$ q- O9 Y8 D/ T
for (int m=0;m<N;m++) / n0 q. A; [% |0 ?
{
8 Z( F! F. Y) r- k
input_P(m); //输入第m个学习样本 (2)6 Z& T; R0 ^6 P0 h/ C5 u
input_T(m);//输入第m个样本的教师信号 (3)
* `3 N9 {' z. A M* p5 {3 B
H_I_O(); //第m个学习样本隐层各单元输入、输出值 (4)
. Y6 i! o' d7 {; @9 y3 d
O_I_O(); //第m个学习样本输出层各单元输入、输出值 (5)
\" u0 D' I4 V7 ~\" s
Err_O_H(m); //第m个学习样本输出层至隐层一般化误差 (6)
, C# F( o3 k) I8 |
Err_H_I(); //第m个学习样本隐层至输入层一般化误差 (7)
* ], S% @1 W h
Delta_O_H(m,fp); //第m个学习样本输出层至隐层权阈值调整、修改 (8)8 e. H/ A% _1 d
Delta_H_I(m,fp); //第m个学习样本隐层至输入层权阈值调整、修改 (9)) b6 P* B- W- D; I, i, C
} //全部样本训练完毕
\" h: k) ^0 e\" \# g
sum_err=Err_Sum(); //全部样本全局误差计算 (10)' G5 k9 N: R2 z( Q
{
+ w7 ^0 R1 c: C
cout<<"第"<<study<<"次学习的均方误差为"<<sum_err<<endl;
' {) j1 {5 c8 q- { [0 _
fprintf(fp,"第%d次学习的均方误差为：%f\n",study,sum_err);5 _( |) J% P+ Z4 N7 G) C3 r
}5 h# T8 c' J$ {- C: b. _& l
while (sum_err > Pre_error) //or(study
6 T/ k8 i: F- C- y& k. P: @
{ //N个样本全局误差小于预定误差否？小于则退出 (11)( r. }3 B9 ]+ P* o; N0 C\" y7 L- s
cout<<"网络已经学习了"<<study<<"次,学习的均方误差为"<<sum_err<<endl;
% a% W: T0 @8 a$ I# g' S I
fprintf(fp,"网络已经学习了%d次，现在的全局误差为：%f\n",study,total_err);
5 m6 f, q4 d7 e r4 J
fclose(fp);
& \8 P- r; J. Z0 y: |: R# o: ~
}
) L5 _4 u x% z# O, F
char s;5 n6 b8 j3 _0 B
cout<<"请随便输入一个字符，按回车退出程序！\n";/ R- R\" E; ?\" x6 {0 m4 t9 r$ n8 f
cin>>s;; V7 f6 T. b# R\" A& R( v/ a
return 1;8 ]3 r; Z2 B' ^) Q. n
}
0 i) T+ x& y5 }% _2 h$ [5 x
( P/ k% Z0 w1 y$ d' G. A) y