神经网络在R语言 实现

haviet

ti<-proc.time()
+ y  W/ i$ z; r' L4 H/ p" LBP_one_output<-function(input,output,m,fth,sth,w,v){
        x<-input;#7*8
7 ]. |9 h: P3 c' V9 \2 u5 K- e        y<-output;#8*1，y为向量，每一元素为一个样本输出值
/ }9 L$ ]# Z# o, ~) b$ k  P4 n        theta<-fth;#11*1
        gama<-sth;#标量
        if(m!=length(theta)) print("阈值长度错误！")
  c& S, J& t, {' o        x<-rbind(x,t(rep(-1,ncol(x))));#8*8导致x的最后一列为阈值theta的权重
3 p4 z. v: ], i  q# J        K<-nrow(x);#8一组样本的维数
        J<-ncol(x);#8一共有多少组样本
* k5 ^0 R* [! p        w<-rbind(w,t(theta));#由7*11变为8*11
5 C$ r) \+ f- b( M        v<-c(v,gama);#由11变为12，但请记住：在隐含层增加一个值为-1的节点，但与输入层并未连接
' s' f& k. r& `' P7 v#定义函数f
! E6 [% o' ^( L; T) C1 l+ V0 I- F        f<-function(h) 1/(1+exp(-h));
% D& z/ n& f; D! e" m3 w$ y7 S5 f1 W        epsilon<-alpha<-0.5;
6 o' O' [9 F  S& X9 B2 t# P! ]: o        N<-0;#重复学习次数的计数
        ei<-as.numeric();#记录每次迭代的平均残差平方和
9 w$ ]5 W  k5 G0 w7 _        FW<-1;
        while((FW/J)>=0.001){
                Z1<-t(w)%*%x;#11*8矩阵，每一列为一组样本
                Y1<-apply(Z1,c(1,2),f);#11*8矩阵，每一列为一组样本在隐含层的值, a matrix 1 indicates rows,
                                                                                        #2 indicates columns, c(1, 2) indicates rows and columns
: X1 Z& n) d! h& a                Z2<-t(v)%*%rbind(Y1,t(rep(-1,ncol(Y1))));#8*1向量，每个元素为隐含层对输出层的加权值
                D<-f(Z2);#向量，每一元素为一组样本的一个输出值
7 e2 ?  B, b4 l+ R4 z6 [                b<-y-D;
9 E4 Y* k7 g  h4 K                #J组样本的学习
                #向量，输出层对隐含层的权值的偏导
9 D- l9 q2 b) O$ D                FW<-pFW2<-pFW2t_1<-0;
                pFW1t_1<-matrix(0,nrow(w),ncol(w));#矩阵，隐含层对输入层权值的偏导
* U4 D' h: s' @& i! r2 @3 l& T                for(t in 1:J){
                        B3<-b[t];
                        FW<-FW+B3*B3;#标量
                        B2<-f(Z2[t])*(1-f(Z2[t]))*B3;#标量
) v: S% ?& t$ I. [& r                        pFW2<--2*c(Y1[,t],-1)*B2;#12*1向量隐含层对输出层的权重偏导,此时多了一个阈值项
                        if(t==1) v<-v-0.5*epsilon*pFW2
- D4 p/ h: N4 L; N) E- f                        else{
                                v<-v-0.5*epsilon*pFW2+alpha*(-0.5*epsilon*pFW2t_1);
                                pFW2t_1<-pFW2;
  o* d+ O5 v6 x, f                        }
( N/ g. r4 L+ {9 ]                        B1<-diag(f(Z1[,t])*(1-f(Z1[,t])))%*%v[1length(v)-1)]*B2;#11*1隐含层多出来的一个节点即阈值节点并未与输入层相连
* f# t; X' P5 D8 C0 @* s& J$ H. ^                        pFW1<--2*x[,t]%*%t(B1)#8*11输入层对隐含层的权重偏导
                        if(t==1) w<-w-0.5*epsilon*pFW1
                        else{
; g# d2 M) o1 L                                w<-w-0.5*epsilon*pFW1+alpha*(-0.5*epsilon*pFW1t_1);
( X: o& w( U# R  ^  ^6 ?                                pFW1t_1<-pFW1;
                        }
: H0 t) }% V' j, J                }
                N<-N+1;
' R7 j# Q1 q* O% M                ei[N]<-FW/J;
6 Z% ~1 H# b* B! b7 k2 Z) b; d        }
" F! e& N/ H. U# n& I+ |        theta<-w[nrow(w),];#隐含层阈值
/ v* l* {# v3 Y/ V        gama<-v[length(v)];#输出层阈值
4 _) A! G, Q4 N- R        w<-w[1nrow(w)-1),];#输入层对隐含层的权重
/ \, Y7 ]/ P' H5 M; w5 U        v<-v[1length(v)-1)];#隐含层对输出层的权重
& _, m) p8 a) Y! k        list(theta,gama,w,v,N,FW/J,ei)
}
x<-cbind(x1,x2,x3,x4,x5,x6,x7);
x<-t(x);
hidden_threshold<-runif(11);
3 q, e6 v0 P2 M" Foutput_threshold<-runif(1);
w<-matrix(runif(77),7,11);
6 r% d+ I4 ~, Q1 L7 M, E) Ov<-runif(11);
result<-BP_one_output(x,y,11,hidden_threshold,output_threshold,w,v);
: i8 t7 f- E' d+ _% ^" _+ F#输出
) U" ?/ w4 b3 `  _6 acat("\n");
+ v! t( g7 a' m' [$ Q( scat("隐含层阈值theta","\n",result[[1]],"\n");
cat("输出层阈值gama","\n",result[[2]],"\n");
w<-as.matrix(result[[3]],7,11);
cat("输入层对隐含层的权重w","\n");
w;
7 C; r, h$ Q! @, f2 Vcat("\n");
" Y- \1 ~+ P2 j2 U3 J: Pcat("隐含层对输出层的权重v","\n",result[[4]],"\n");
/ y/ F8 l: J+ u/ Kcat("迭代次数N" ,"\n",result[[5]],"\n");
cat("学习误差FW","\n",result[[6]],"\n");
cat("每次迭代的误差","\n");
plot(result[[7]],type="l",ylab="每次学习误差",xlab="反复学习的次数");
proc.time()-ti

廷植斌_972

支持~~顶顶~~~

Esmtih

运行不了啊？

黄窗帘

就看看，不说话。

凌chers

能不能解释一下呢？

兰竹李乐

这牛逼的你自己编的吗