【源代码】C++的BP算法源程序神经网络

[复制链接]

字体大小: 正常放大

ebookSharing

33 主题	8 听众	31 积分

升级 27.37%

该用户从未签到

电梯直达

1^#

发表于 2008-9-15 19:34 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

#include "iostream.h"
3 _1 q! N' o) O8 ~/ N# i! u! r w
#include "iomanip.h"2 L. Y. Y8 S( v/ Z! R* l6 v
#define N 20 //学习样本个数* j. I: ?4 K. _) d, U
#define IN 1 //输入层神经元数目
% c& L/ S8 E$ b7 L7 l% Y& {
#define HN 8 //隐层神经元数目3 ?$ q; Q9 g* b: K% f9 m. \
#define ON 1 //输出层神经元数目! A) {7 G3 [! l6 q4 q9 \
double P[IN]; //单个样本输入数据
3 t% ]& N$ h2 H7 G/ P
double T[ON]; //单个样本教师数据6 Q, o, g( Z1 }8 t) g9 x9 i
double W[HN][IN]; //输入层至隐层权值+ R$ W\" a) P! c! {; z4 d0 b
double V[ON][HN]; //隐层至输出层权值$ H: k* c/ H* @\" |: ~1 S% S, o1 f
double X[HN]; //隐层的输入6 j' B( L. [/ @
double Y[ON]; //输出层的输入
6 o+ d6 x9 ?2 u+ d\" I9 h
double H[HN]; //隐层的输出
X- X' H7 Y* r$ z\" y8 p, R# G
double O[ON]; //输出层的输出
6 C) |0 Q2 n9 g6 S k
double sita[HN]; //隐层的阈值\" I, y, r% `\" m. Z9 z9 w# C: |9 _
double gama[ON]; //输出层的阈值
% N3 M) t; M# r7 F1 B* U) w0 t
double err_m[N]; //第m个样本的总误差+ u2 w& ^/ `, C) j. O: a
double alpha; //输出层至隐层的学习效率% T5 B; H$ p9 \+ u# v% @
double beta; //隐层至输入层学习效率3 ]: K% ?\" L2 n1 f
//定义一个放学习样本的结构9 M% S1 M1 G& B( ~2 J3 O% Y
struct {! D+ x' h' X5 X2 B4 L' r, U# \
double input[IN];( ` y8 q0 c4 D3 u
double teach[ON];
/ R( Q% H, a: ]
}Study_Data[N][IN];
. n; i+ ^5 q. Q! T
+ u5 ]( k- P7 a
///////////////////////////2 C4 {( F w- {* q4 a/ a/ A
//初始化权、阈值子程序/////# x& ~+ S& z. u$ O+ f% I
///////////////////////////1 {1 w! L- z1 ^. J
initial()) [1 e& z5 r. Q6 l
{3 c6 C/ P. m\" [3 t5 U2 B
float sgn;7 k0 p7 v) e8 T& s. t
float rnd;
3 E6 f$ P2 Q1 Y+ C
int i,j;# _; M4 W6 X7 z5 P9 d5 Q* i
//隐层权、阈值初始化//4 @9 F- n, r( C- U9 }
{
1 g3 Y! o) ~, p\" [
//sgn=pow((-1),random(100));/ z# y8 d8 |, q* E
sgn=rand();
# R! r. o X |
rnd=sgn*(rand()%100);
4 E, \ P* [ Q8 A, F& _/ Q\" o2 Z
W[j][i]= rnd/100;//隐层权值初始化。: e* \7 Q) v- ~0 t( h: z' V
}& p$ W* y/ G3 ?# Y9 l
//randomize();2 _5 J9 {, b, ~9 G% b0 A\" u
{. O3 r0 W4 m5 n6 W6 q6 _
//sgn=pow((-1),random(1000));
7 u% L2 E$ }$ c
sgn=rand();$ B' W/ a\" V0 T& s6 C' T8 L
rnd=sgn*(rand()%1000);
9 a( x6 M: s; W. A
sita[j]= rnd/1000;//中间层阈值初始化
: T' g% u$ d5 Q; L
cout<<"sita"<<sita[j]<<endl;4 F; o9 s3 i; X# K/ O. z. E
}
) M, A0 L7 @\" B0 @4 o* G/ J
//输出层权、阈值初始化//
: f8 i. P! k! N6 p
//randomize();- b7 Y( q& d3 F0 F/ x `6 N
for (int k=0;k<ON;k++)
. I7 n8 ?, a9 r: }7 I6 k- M4 d
for (int j=0;j<HN;j++) / G; p d% S9 k5 V; M% ~\" K
{
/ x* |\" B: g/ t7 K7 h
//sgn=pow((-1),random(1000));
3 E/ V! B0 ?, ?0 G4 N
sgn=rand();
' p1 N% Z\" x9 y( @ h; M3 s
rnd=sgn*(rand()%1000);/ J( w# Z. s4 [5 a+ Z/ E
V[k][j]=rnd/1000;//第m个样本输出层权值初始化
2 K3 L. q: R( g3 q; H w
}
0 e8 l2 v; X! _\" f* j
//randomize();
! |: f2 E* d4 u9 v, g: T
{- G0 W. g2 s6 h! S# I% j7 n) P9 T
//sgn=pow((-1),random(10));) k- s7 [- g\" T8 J! s
sgn=rand();
. E5 v\" C* ~% M1 m' \, k; z1 ~# g
rnd=sgn*(rand()%10);
- J: W8 T& X' y) s
gama[k]=rnd/10;//输出层阈值初始化9 ~8 Y% I9 D) h
cout<<"gama[k]"<<endl;
' Y y; F# E6 A3 I& [
}
, O7 r& D: p/ q8 \. Z
return 1;
! M: a\" ^- w- |6 g- E, `
* T% u7 ^% R; ?
}//子程序initial()结束8 D5 c; B2 l* r. S6 j\" b6 r) R! p
$ D) H$ N4 y4 s\" R8 E7 O
////////////////////////////////8 d; w0 d' ?( V1 r) }2 w\" D
////第m个学习样本输入子程序/// N# d! K* g4 O9 V2 Y! T9 G
///////////////////////////////. |/ G5 R$ b\" C v, P+ ]
input_P(int m)- v9 J$ ]2 [$ J) t2 u4 }& g/ g
{: T3 B1 t; O# O& A% e! `: ~
for (int i=0;i<IN;i++)
2 U# v `* @3 t: J7 J0 ]
P[i]=Study_Data[m]->input[i];
! s4 G1 f. r2 V
//获得第m个样本的数据
. i$ K+ C0 L2 _9 P- C1 y
//cout<<"第"< //fprintf(fp,"第%d个样本的学习输入：
* u# ?# U1 V8 }( d
//P[%d]=%f\n",m,P[i]);$ }. N# i- D7 V8 _2 u
return 1;
# O1 d* g5 }, T% j
}//子程序input_P(m）结束
- e# d1 ^# t) c) t
/////////////////////////////+ D5 n u* h& `) N1 b* S8 h
////第m个样本教师信号子程序//
8 y) F2 `7 c5 E/ x
/////////////////////////////
( r n. b) k2 D
input_T(int m)
D# e5 P9 ~# R) J$ Z d
{( x- g0 U7 }: A& z+ O; U! K I
for (int k=0;k<m;k++). D- c/ q! Q) @( }& n; R; C
T[k]=Study_Data[m]->teach[k];
& X0 C8 M, ? v: c* I
//cout<<"第"< //
( i P7 U+ _6 \1 b
fprintf(fp,"第%d个样本的教师信号：T[%d]=%f\n",m,T[k]);6 X0 Q* }0 t. ]. \
return 1;
+ w; k3 F\" h* q {\" C2 S
}//子程序input_T(m)结束0 @- f0 n, V& N) j0 K
/////////////////////////////////
) |' r7 d0 Y/ O: T\" y+ s: O1 [# B6 l
//隐层各单元输入、输出值子程序///
7 Y% y( A; d) d
/////////////////////////////////4 X2 [8 N R7 P, v, v: N
H_I_O(){
5 p. n/ M& O# K2 A( U5 C3 X
double sigma;
2 z$ F/ k! r ]3 |3 A$ u
int i,j;\" h! @& P& g) x6 X2 F4 H4 i
for (j=0;j<HN;j++)
1 x% C0 Z\" _1 v3 D8 t! h
sigma=0.0;2 ~9 j. t! M4 i+ X# a5 E
for (i=0;i<IN;i++)# J\" c7 r5 N$ @; x. O: c: [, R- X% \
sigma+=W[j][i]*P[i];//求隐层内积
\" M' ]1 d( e9 B+ W$ w C
}3 L1 i1 p. i1 a0 p
X[j]=sigma - sita[i];//求隐层净输入* F: }5 j) k2 a7 M2 j
H[j]=1.0/(1.0+exp(-X[j]));//求隐层输出
( j) w4 g P6 Z
}
+ c. e9 o\" J5 s3 t4 m! J( ~1 T
return 1;
) q+ h4 y2 I. U9 s
}//子程序H_I_O()结束
! R, C* y; {1 X1 h4 _
///////////////////////////////////
; N [& V, T$ |6 M
//输出层各单元输入、输出值子程序///
5 `' K- p& C' [( n
///////////////////////////////////
]: u0 Y: o5 z! }, `, M) {
O_I_O()
; |+ W8 q. @/ Y& n
{3 Y/ h8 h\" i5 i\" X4 L
double sigma;
\" C1 w: L! u8 G
for (int k=0;k<ON;k++)3 o, P; P; f2 V* b7 r
sigma=0.0;
7 r$ M1 `; `* k% \
for (int j=0;j<HN;j++)
2 t% Z1 E% d, q4 j4 |9 T; S: U& U
sigma+=V[k][j]*H[k];//求输出层内积9 f/ ^# V3 D# l0 C
}
; T! J! G4 X% Z7 W4 v8 H2 @
Y[k]=sigma-gama[k]; //求输出层净输入
; T7 v5 o/ C W: ?' ]* c5 C
O[k]=1.0/(1.0+exp(-Y[k]));//求输出层输出
^0 W9 U) e! \# v\" P! Q3 n* W
}: P, ^1 m0 q; E7 N7 O
return 1;4 o' g\" q; J! y# B i8 V9 f1 c) V
}//子程序O_I_O()结束# \( E+ j) |! |8 [- b4 }
////////////////////////////////////
% Y/ U! A3 t7 H* ^' V9 w6 ]
//输出层至隐层的一般化误差子程序////1 n6 H1 `4 O\" ~# `5 i
////////////////////////////////////
. j# S4 F% `- o( B8 r0 z
double d_err[ON];
+ X; A% j8 r: `
Err_O_H(int m)5 P+ }3 \4 }0 ?' \, |* f
{
# v; L* m! e% f* H/ }
double abs_err[ON];//每个样本的绝对误差都是从0开始的
' n! }% ~0 u4 x( G, o- a0 @
double sqr_err=0;//每个样本的平方误差计算都是从0开始的
3 K2 N \; m3 N$ f2 U: h: F0 a
//for (int output=0;output<ON;output++) //output???8 }1 z\" P7 z: y# G( p' i, ]
for (int k=0;k<ON;k++)9 ^$ Z8 F% m' r# j! ]
abs_err[k]=T[k]-O[k];
$ K& y( g. @1 @8 f# V
//求第m个样本下的第k个神经元的绝对误差7 B1 j+ U0 f5 D
sqr_err+=(abs_err[k])*(abs_err[k]);
+ f! k( P8 S* E9 X L( g( ?7 P
//求第m个样本下输出层的平方误差
2 T: U5 o0 K V$ r r& j
d_err[k]=abs_err[k]*O[k]*(1.0-O[k]);
+ ]\" d+ v- p; C& F6 [7 a
//d_err[k]输出层各神经元的一般化误差 G9 g/ r6 q& [! V7 m
}5 ~, H3 l4 b6 ]. F3 Y, `
err_m[m]=sqr_err/2;. s. ]; }6 s8 y+ ~0 b% T, ?
//第m个样本下输出层的平方误差/2=第m个样本的均方误差/ T2 E( q4 g+ d( a' X: C
return 1;
$ W; T, ?. m/ k6 Q5 O# X
}//子程序Err_O_H(m)结束* z: v1 W% w1 ]\" `/ j- Z
////////////////////////////////////
) }/ l% a: c\" p2 U9 p) Z
//隐层至输入层的一般化误差子程序///// D; N5 D: X' l0 N% i5 _\" |
////////////////////////////////////
& j4 g: U9 Y\" s\" ?' ~$ x8 u, Y
double e_err[HN];
/ u& Y7 g5 i! F# e$ Z( j$ M* e
Err_H_I(){
1 z( u) q( i- e+ i$ ?\" ?6 v) {+ Y
double sigma;: G2 L. x) v\" P( i& }9 ?
//for (int hidden=0;hidden
* z5 G2 h+ @+ o5 _
for (int j=0;j<HN;j++) ( w. Z( I% |- F6 s! \0 m
sigma=0.0;4 v( o; d$ m; J9 f+ s
for (int k=0;k<ON;k++)
\" |# h* A/ x$ J8 a# V# L) ?
sigma=d_err[k]*V[k][j];' H: L* r8 x% D
}
* V3 @$ Z ^# v& f3 c6 R& ^' v8 q
e_err[j]=sigma*H[j]*(1-H[j]);//隐层各神经元的一般化误差* G! E* Q3 S# A5 k
}
: y# }; h1 A: _9 n
return 1;
$ Y- c\" I1 y' s% j' ~# F
}//子程序Err_H_I()结束/ g& n5 f/ O) O% Q% h5 J2 |1 L
////////////////////////////////////////////////////////
) h: Z7 l7 z! C; C* Q i
//输出层至隐层的权值调整、输出层阈值调整计算子程序//////
9 K$ ]3 \* l. J- s1 W* P6 |1 \; H\" m
////////////////////////////////////////////////////////
0 g4 M4 b! O6 f6 n) w2 X
Delta_O_H(int m,FILE* fp)1 \1 S' u4 r- `6 i, e$ W# j0 g# W! d
{+ d v$ h3 e/ m ~& H
for (int k=0;k<ON;k++)
\" V) N2 n2 G8 Y5 s4 y3 T
for (int j=0;j<HN;j++)
# i' W5 q, b# ^, ~2 E
//cout<<"第"< . u* O7 e9 D4 s3 R3 a4 i& l/ `
fprintf(fp,"第%d个样本时的输出层至隐层的权值为：%f\n",m,W[k][j]);) {: B+ M. |9 Q* Z/ ]
V[k][j]+=alpha*d_err[k]*H[j];//输出层至隐层的权值调整\" ~6 u5 Z Y' o4 c) ]
}
/ `\" E1 [* B5 u# I( I# ~\" P5 \
gama[k]+=alpha*d_err[k];//输出层至隐层的阈值调整% O t2 _# ]3 A
}
0 t9 P4 Q$ s* \, z* k5 q% E
return 1;
1 o1 B; p6 {- H4 _2 l) T c
}//子程序Delta_O_H()结束7 I. z+ ^$ [% E3 w0 c2 P0 h! i
/////////////////////////////////////////////////////. Z; }: E9 u; V& i W+ h
//隐层至输入层的权值调整、隐层阈值调整计算子程序/////\" \) V( M/ N! k* j
/////////////////////////////////////////////////////
! Q: B0 p: w- N
Delta_H_I(int m,FILE* fp)3 D+ m4 \ }# H3 H3 A& r' H
{- o9 R* I8 m\" J& h4 s( Y
for (int j=0;j<HN;j++)
) }( t6 a) h/ r7 g( g3 X( e
for (int i=0;i<IN;i++) 1 T: P8 u1 l/ w4 ]6 w# ?
//cout<<"第"< fprintf(fp,"第%d个样本时的输出层至隐层的权值为：%f\n",m,V[j][i]);& G4 h/ G( @\" n
W[j][i]+=beta*e_err[j]*P[i];//隐层至输入层的权值调整\" Y$ S$ C! l9 P: j3 g\" a9 z
}
) W6 Z, U) W, a. R. r; r7 X- \
sita[j]+=beta*e_err[j];3 q$ P* f) e0 g2 K6 S
}$ N$ F2 g+ `' B) ^
return 1;
2 k! o$ j) d0 k: N6 S6 E
}//子程序Delta_H_I()结束\" Y6 Q2 Z$ @+ V+ P' s
/////////////////////////////////2 ^! O0 ?4 e$ A! R
//N个样本的全局误差计算子程序////: G0 q/ s- W9 K$ E0 A. ^
/////////////////////////////////: n/ P( U\" q6 T& b! Y- K
double Err_Sum()& F! l% G: i& I5 {+ ]* i9 C
{( r3 o6 ?$ g6 K9 ]+ d
double total_err=0;, K1 k w U( W' J* e. {
for (int m=0;m<N;m++) 2 N7 B4 K$ c7 h: {+ L3 w% Z8 e
total_err+=err_m[m];//每个样本的均方误差加起来就成了全局误差; _3 V4 V( B8 ~0 d: V U- s! u
}8 M% `( ]5 a9 O1 u
return 1;
# j$ r& [0 W+ B! y$ R. g
}//子程序Err_sum()结束
+ w8 D$ i: l! l, n
/**********************/8 k! f2 R9 U; p
/**程序入口，即主程序**/
4 \% y, d* [0 A% D5 |5 R0 u
/**********************/' H7 y7 F5 Z7 G
main()
, |9 o5 u( R\" {, o\" ?
{
& _' g8 `, T7 l! o/ D
FILE *fp;
8 z/ A/ z3 |( G& d$ r( J5 j- s
double sum_err;
( x\" g2 F$ _, z7 f
int study;//训练次数+ l' U, g4 ?, [% v7 s9 K L3 [
if ((fp=fopen("bp.txt","a+"))==NULL)
. F: q' D) a D& o/ X
{, v2 Y% c y( [+ w8 [\" \
printf("不能创建bp.txt文件!\n");
: e) N' t9 d' p
exit(1);
# r9 t- G; P1 Z. G: a
}
% P/ c% }! R2 d M\" F& m0 W6 {
cout<<"请输入输出层到隐含层学习效率: alpha=\n";
# Y; d5 Q9 d2 L% U& M
cin>>alpha;7 ~- T A( B2 K$ C# h; r: r
cout<<"请输入隐含层到输入层学习效率: beta=\n";
3 L1 x6 L: N2 ?9 y8 v4 R
cin>>beta;
\" q; O) ?: @: d! d: \& }% O; u
int study=0; //学习次数
. w5 X4 t+ m: g) {! W
double Pre_error ; //预定误差- h\" }( h/ L. y/ o
cout<<"请输入预定误差: Pre_error= \n";0 s6 T: U) F4 b' V4 @
cin>>Pre_error;0 T! n; |0 V$ D' Q* d1 y) }4 x
int Pre_times;8 I, m1 Y9 u3 ^- i1 |( [
cout<<"请输入预定最大学习次数:Pre_times=\n";8 N# ]( K# C- ?8 ]2 R6 I5 B
cin>>Pre_times;! y; m4 {* N b- X4 U2 w' C
cout<<"请输入学习样本数据\n";- ?9 M3 b% e! S
{
% i0 k' ~+ |4 i5 q, `9 T4 }
for (int m=0;m<N;m++)' i! L# G0 f0 [ G* j& w- U; Q
cout<<"请输入第"<<m+1<<"组学习样本"<<endl; . _' B\" t X2 s& n
for (int i=0;i<IN;i++)$ {8 g\" |7 w+ E! C5 b6 _
cin>>Study_Data[m]->input[i];
+ u! C' S2 a7 ]8 ]/ N
}
: p' ?& f* i0 ], q/ v
{ $ h) ~) R* n$ z$ ~7 L) f& U. ^
for (int m=0;m<N;m++)/ }; y: t# H7 q. K
cout<<"请输入第"<<m+1<<"组教师样本"<<endl;
: B' s! {/ u6 T, i, w* c
for (int k=0;k<ON;k++)\" T$ U* Y0 `: y8 C
cin>>Study_Data[m]->teach[k];
. I2 e; x2 }$ K% y9 u9 w* z
}, a' y0 x5 Q+ J7 P5 _/ ]
initial(); //隐层、输出层权、阈值初始化 (1)
$ E- s+ M% ~! G
do! S) B! c# N5 s0 ^. ]
{' v1 i) D\" M8 a v- _+ v
++study; ///???# Z8 E% x( E+ _( @0 j4 f+ I
for (int m=0;m<N;m++) 1 _# c% n7 |! I# Z* r
{
' O; H2 p5 k6 `! x, c6 Y0 O
input_P(m); //输入第m个学习样本 (2)
6 k1 {# K ~% \ X$ A
input_T(m);//输入第m个样本的教师信号 (3)
! A/ C8 g+ z3 \9 M\" H
H_I_O(); //第m个学习样本隐层各单元输入、输出值 (4)
2 D; t) v' w( M5 H' B8 ~. F% q
O_I_O(); //第m个学习样本输出层各单元输入、输出值 (5)
3 v0 m: Y) u6 M4 X' l
Err_O_H(m); //第m个学习样本输出层至隐层一般化误差 (6) 6 j$ f/ f9 u5 ~0 m
Err_H_I(); //第m个学习样本隐层至输入层一般化误差 (7)
- ]) @9 [: N2 U+ z. M [3 \
Delta_O_H(m,fp); //第m个学习样本输出层至隐层权阈值调整、修改 (8)
1 ~& U I9 {\" c
Delta_H_I(m,fp); //第m个学习样本隐层至输入层权阈值调整、修改 (9)
5 Z; |, m+ I) R
} //全部样本训练完毕4 B( l\" w1 e( _
sum_err=Err_Sum(); //全部样本全局误差计算 (10)
3 N2 A# S9 z) T5 s
{$ {$ h5 F, Q7 M8 l) R\" L. v( k8 D
cout<<"第"<<study<<"次学习的均方误差为"<<sum_err<<endl;
! |& j# n4 G& D2 e5 ^1 n$ x! K) }5 R
fprintf(fp,"第%d次学习的均方误差为：%f\n",study,sum_err);
) Q5 {/ j4 X& I* F% ]9 d4 y! p
}) f- J* T( t/ I3 F8 {& E
while (sum_err > Pre_error) //or(study1 T# u+ }2 s, A6 l$ l6 F
{ //N个样本全局误差小于预定误差否？小于则退出 (11)9 @# i* i1 ?9 s1 t
cout<<"网络已经学习了"<<study<<"次,学习的均方误差为"<<sum_err<<endl;
8 e1 j( ^7 p! S6 X8 v7 Q, t
fprintf(fp,"网络已经学习了%d次，现在的全局误差为：%f\n",study,total_err);
# O* v. Y- D9 E( H! O9 D
fclose(fp);6 M' A% h7 L7 y' K, `\" m
}
3 K\" x$ Z5 r$ A1 j$ e8 Y* h6 H1 L
char s;8 u* @9 H* |9 I0 d/ o7 T5 E
cout<<"请随便输入一个字符，按回车退出程序！\n";
( f7 e3 J* {0 E: y$ k
cin>>s;
* q6 } P4 Y1 d9 G9 Z, k5 p* p1 E
return 1;
* S( B7 b3 `; B' ~
}\" z& z. f% V9 r# g7 F1 m2 S
\" \\" D2 a4 t! Z7 A4 |$ a& C