神经网络在R语言 实现

haviet

ti<-proc.time()
! r3 [; @  E1 j4 U% r8 ABP_one_output<-function(input,output,m,fth,sth,w,v){
7 n0 p  n9 I7 E5 A) _* w, r) |4 ?+ g        x<-input;#7*8
        y<-output;#8*1，y为向量，每一元素为一个样本输出值
  |" b' b# u& [# K0 i! z        theta<-fth;#11*1
( t; ~5 V% Z6 V, r# M        gama<-sth;#标量
        if(m!=length(theta)) print("阈值长度错误！")
8 k9 g7 G% f# G. q' }        x<-rbind(x,t(rep(-1,ncol(x))));#8*8导致x的最后一列为阈值theta的权重
        K<-nrow(x);#8一组样本的维数
- v/ }+ Y8 a+ x7 S        J<-ncol(x);#8一共有多少组样本
" h6 H% _( x1 ~. X/ S        w<-rbind(w,t(theta));#由7*11变为8*11
        v<-c(v,gama);#由11变为12，但请记住：在隐含层增加一个值为-1的节点，但与输入层并未连接
7 q8 s# W& |- n( i: V# i#定义函数f
        f<-function(h) 1/(1+exp(-h));
        epsilon<-alpha<-0.5;
        N<-0;#重复学习次数的计数
8 p: g  ~# i8 q$ `2 j" v        ei<-as.numeric();#记录每次迭代的平均残差平方和
( {9 B7 b, R* r! c, J        FW<-1;
" w. _$ u- a# k' N9 m        while((FW/J)>=0.001){
- K, @& F& ?2 c" C% f$ E% ]                Z1<-t(w)%*%x;#11*8矩阵，每一列为一组样本
                Y1<-apply(Z1,c(1,2),f);#11*8矩阵，每一列为一组样本在隐含层的值, a matrix 1 indicates rows,
; i" M+ m/ P/ O$ x+ X2 {( K1 C                                                                                        #2 indicates columns, c(1, 2) indicates rows and columns
                Z2<-t(v)%*%rbind(Y1,t(rep(-1,ncol(Y1))));#8*1向量，每个元素为隐含层对输出层的加权值
                D<-f(Z2);#向量，每一元素为一组样本的一个输出值
                b<-y-D;
/ t  s, x+ |- X+ L                #J组样本的学习
. i# P$ i8 m: F+ b. ^( E                #向量，输出层对隐含层的权值的偏导
% H3 B; }7 |. n" u                FW<-pFW2<-pFW2t_1<-0;
                pFW1t_1<-matrix(0,nrow(w),ncol(w));#矩阵，隐含层对输入层权值的偏导
                for(t in 1:J){
; m. ]/ N! n4 }4 z% ^; n& w- G                        B3<-b[t];
                        FW<-FW+B3*B3;#标量
                        B2<-f(Z2[t])*(1-f(Z2[t]))*B3;#标量
                        pFW2<--2*c(Y1[,t],-1)*B2;#12*1向量隐含层对输出层的权重偏导,此时多了一个阈值项
                        if(t==1) v<-v-0.5*epsilon*pFW2
                        else{
                                v<-v-0.5*epsilon*pFW2+alpha*(-0.5*epsilon*pFW2t_1);
8 g0 O, w* f% O. @                                pFW2t_1<-pFW2;
9 ^2 D) p! P+ [! F! A( [                        }
- H5 Q, @1 l1 f* E3 h                        B1<-diag(f(Z1[,t])*(1-f(Z1[,t])))%*%v[1length(v)-1)]*B2;#11*1隐含层多出来的一个节点即阈值节点并未与输入层相连
                        pFW1<--2*x[,t]%*%t(B1)#8*11输入层对隐含层的权重偏导
                        if(t==1) w<-w-0.5*epsilon*pFW1
                        else{
                                w<-w-0.5*epsilon*pFW1+alpha*(-0.5*epsilon*pFW1t_1);
                                pFW1t_1<-pFW1;
                        }
                }
                N<-N+1;
                ei[N]<-FW/J;
        }
8 c; U/ Z8 k2 }8 w; x, `2 p3 w- N        theta<-w[nrow(w),];#隐含层阈值
        gama<-v[length(v)];#输出层阈值
3 {9 F4 f! I" Q        w<-w[1nrow(w)-1),];#输入层对隐含层的权重
+ j4 C( X' m$ w. F        v<-v[1length(v)-1)];#隐含层对输出层的权重
9 L' M: @8 y3 o        list(theta,gama,w,v,N,FW/J,ei)
}
. ?' g" }7 G) [5 m- J  p: h* [% {* ?x<-cbind(x1,x2,x3,x4,x5,x6,x7);
x<-t(x);
hidden_threshold<-runif(11);
output_threshold<-runif(1);
w<-matrix(runif(77),7,11);
, y, `" t9 t( u8 C$ W; n1 @3 g5 W( H) dv<-runif(11);
, J9 ?3 F8 Z, `result<-BP_one_output(x,y,11,hidden_threshold,output_threshold,w,v);
/ T3 L1 d+ b6 D0 p: O4 b  [. X5 S#输出
6 q& [' Z5 [# @( y' jcat("\n");
7 Y' X) ]1 i& T6 ^. c& O, Wcat("隐含层阈值theta","\n",result[[1]],"\n");
cat("输出层阈值gama","\n",result[[2]],"\n");
7 p5 n+ `. v. k3 M# N# V  N$ Fw<-as.matrix(result[[3]],7,11);
2 g1 X8 h5 g8 c" H5 }" g4 fcat("输入层对隐含层的权重w","\n");
7 |8 f* I/ g+ g4 C; Ow;
5 r. i7 }; r# n4 [' [cat("\n");
cat("隐含层对输出层的权重v","\n",result[[4]],"\n");
cat("迭代次数N" ,"\n",result[[5]],"\n");
cat("学习误差FW","\n",result[[6]],"\n");
) J9 S& P$ r  t7 I7 [6 W: E& Y  z( l5 `cat("每次迭代的误差","\n");
plot(result[[7]],type="l",ylab="每次学习误差",xlab="反复学习的次数");
proc.time()-ti

廷植斌_972

支持~~顶顶~~~

Esmtih

运行不了啊？

黄窗帘

就看看，不说话。

凌chers

能不能解释一下呢？

兰竹李乐

这牛逼的你自己编的吗