神经网络在R语言 实现

haviet

ti<-proc.time()
BP_one_output<-function(input,output,m,fth,sth,w,v){
        x<-input;#7*8
        y<-output;#8*1，y为向量，每一元素为一个样本输出值
- \4 o/ @0 Z2 |  E& G        theta<-fth;#11*1
        gama<-sth;#标量
5 K, J6 M3 h/ z% v        if(m!=length(theta)) print("阈值长度错误！")
        x<-rbind(x,t(rep(-1,ncol(x))));#8*8导致x的最后一列为阈值theta的权重
        K<-nrow(x);#8一组样本的维数
        J<-ncol(x);#8一共有多少组样本
: K5 S9 y" K, P        w<-rbind(w,t(theta));#由7*11变为8*11
1 }% }7 B! k+ k6 T  ^2 [) t& K4 m4 f3 `        v<-c(v,gama);#由11变为12，但请记住：在隐含层增加一个值为-1的节点，但与输入层并未连接
% ~/ H& q( W: ^9 r4 T#定义函数f
        f<-function(h) 1/(1+exp(-h));
$ G. q- m/ |/ ]1 \2 M# r        epsilon<-alpha<-0.5;
        N<-0;#重复学习次数的计数
        ei<-as.numeric();#记录每次迭代的平均残差平方和
        FW<-1;
+ ]/ G1 s" ~, o' [8 r3 f# x. j- \1 r! m        while((FW/J)>=0.001){
, D! b; O  c/ ^; n1 i: M8 P8 t$ z! p- d                Z1<-t(w)%*%x;#11*8矩阵，每一列为一组样本
                Y1<-apply(Z1,c(1,2),f);#11*8矩阵，每一列为一组样本在隐含层的值, a matrix 1 indicates rows,
                                                                                        #2 indicates columns, c(1, 2) indicates rows and columns
                Z2<-t(v)%*%rbind(Y1,t(rep(-1,ncol(Y1))));#8*1向量，每个元素为隐含层对输出层的加权值
4 x7 }- u1 g+ I, X                D<-f(Z2);#向量，每一元素为一组样本的一个输出值
9 O4 {# N/ y' M5 Y- }; D                b<-y-D;
                #J组样本的学习
' X, R+ q9 E) ?$ o- y9 ^                #向量，输出层对隐含层的权值的偏导
( P# e6 F$ x. U1 p# [                FW<-pFW2<-pFW2t_1<-0;
1 B; b1 e1 d  A! n4 p% j8 T                pFW1t_1<-matrix(0,nrow(w),ncol(w));#矩阵，隐含层对输入层权值的偏导
                for(t in 1:J){
                        B3<-b[t];
; g1 V; l, W/ U  y% B9 e9 {                        FW<-FW+B3*B3;#标量
                        B2<-f(Z2[t])*(1-f(Z2[t]))*B3;#标量
- _" r; {4 E. S: ~9 j+ g. B# P                        pFW2<--2*c(Y1[,t],-1)*B2;#12*1向量隐含层对输出层的权重偏导,此时多了一个阈值项
                        if(t==1) v<-v-0.5*epsilon*pFW2
( \1 E0 w  |9 W# \& ^6 c! Q                        else{
5 f8 n% P# m4 [0 H                                v<-v-0.5*epsilon*pFW2+alpha*(-0.5*epsilon*pFW2t_1);
                                pFW2t_1<-pFW2;
' n, }2 p, J1 ^: t* V$ t                        }
7 c3 m* p. ]* h9 {* w# @* i                        B1<-diag(f(Z1[,t])*(1-f(Z1[,t])))%*%v[1length(v)-1)]*B2;#11*1隐含层多出来的一个节点即阈值节点并未与输入层相连
                        pFW1<--2*x[,t]%*%t(B1)#8*11输入层对隐含层的权重偏导
4 u  m1 @4 l, D, t" K; o5 g                        if(t==1) w<-w-0.5*epsilon*pFW1
! ]; D+ N% x8 `4 ?* Z                        else{
/ u$ `: z2 O. X& O                                w<-w-0.5*epsilon*pFW1+alpha*(-0.5*epsilon*pFW1t_1);
                                pFW1t_1<-pFW1;
/ C9 L! v* O5 O# Q, }                        }
! m4 u1 P( K6 P                }
                N<-N+1;
% m! D/ p( L5 i% c                ei[N]<-FW/J;
        }
        theta<-w[nrow(w),];#隐含层阈值
- s3 V0 ^* N1 h        gama<-v[length(v)];#输出层阈值
, h+ y7 U/ a7 n% X* P        w<-w[1nrow(w)-1),];#输入层对隐含层的权重
5 H* ?0 h( K5 g7 a+ N! o        v<-v[1length(v)-1)];#隐含层对输出层的权重
7 m9 Z) K. q4 \2 m& X        list(theta,gama,w,v,N,FW/J,ei)
}
/ I' V3 S% b1 g5 v1 b) f# vx<-cbind(x1,x2,x3,x4,x5,x6,x7);
x<-t(x);
, _1 U+ _$ P6 i9 h6 k4 bhidden_threshold<-runif(11);
" C& m# [1 J7 }2 c4 H( ]7 \9 soutput_threshold<-runif(1);
" }% m2 @+ i$ s: V  Sw<-matrix(runif(77),7,11);
v<-runif(11);
9 v; @" M/ x" d5 i! F+ {result<-BP_one_output(x,y,11,hidden_threshold,output_threshold,w,v);
#输出
cat("\n");
cat("隐含层阈值theta","\n",result[[1]],"\n");
9 j- p- O3 J3 v, pcat("输出层阈值gama","\n",result[[2]],"\n");
7 }1 J  W4 C  h9 \8 r: ^- yw<-as.matrix(result[[3]],7,11);
; R/ T$ H2 O) y4 Acat("输入层对隐含层的权重w","\n");
" A/ `9 O; f9 `6 U, O' dw;
5 j# s+ W3 {8 q+ |. M# V5 wcat("\n");
5 n& k3 z4 j! O) g4 W. x- ^: s1 Tcat("隐含层对输出层的权重v","\n",result[[4]],"\n");
cat("迭代次数N" ,"\n",result[[5]],"\n");
cat("学习误差FW","\n",result[[6]],"\n");
cat("每次迭代的误差","\n");
plot(result[[7]],type="l",ylab="每次学习误差",xlab="反复学习的次数");
% W7 z: G1 ?: f  Xproc.time()-ti

廷植斌_972

支持~~顶顶~~~

Esmtih

运行不了啊？

黄窗帘

就看看，不说话。

凌chers

能不能解释一下呢？

兰竹李乐

这牛逼的你自己编的吗