数学建模社区-数学中国

标题: 我见过的最脑残也是最好懂的人工神经网络算法教程（四） [打印本页]
作者: 数学中国YY主管    时间: 2016-3-2 09:22
标题: 我见过的最脑残也是最好懂的人工神经网络算法教程（四）
4.4  CNeuralNet.h（神经网络类的头文件）
　　在CNeuralNet.h 文件中，我们定义了人工神经细胞的结构、定义了人工神经细胞的层的结构、以及人工神经网络本身的结构。首先我们来考察人工神经细胞的结构。
, _. G7 C  L9 b
4.4.1  SNeuron（神经细胞的结构）
2 c. i: E' |* B7 ~8 }1 K5 ~
　　 这是很简单的结构。人工神经细胞的结构中必须有一个正整数来纪录它有多少个输入，还需要有一个向量std:vector来表示它的权重。请记住，神经细胞的每一个输入都要有一个对应的权重。
+ v  {* c% ^+ m( P; `' S
Struct SNeuron
{
     // 进入神经细胞的输入个数
     int m_NumInputs;

1 \$ w4 |" c6 W. B- i* F( J
     // 为每一输入提供的权重
     vector<double> m_vecWeight;
) O* U6 x5 J0 S! m
     //构造函数
     SNeuron(int NumInputs);
  };

/ G  ~7 ?/ N' B8 R% Z  n8 D0 o* t
以下就是SNeuron 结构体的构造函数形式:

( x. a2 x8 Q0 v
SNeuron::SNeuron(int NumInputs): m_NumInputs(NumInputs+1)
(
     // 我们要为偏移值也附加一个权重，因此输入数目上要 +1
     for (int i=0; i<NumInputs+1; ++i)
     {
         // 把权重初始化为任意的值
         m_vecWeight.push_back(RandomClamped());
     }
}
　　由上可以看出，构造函数把送进神经细胞的输入数目NumInputs作为一个变元，并为每个输入创建一个随机的权重。所有权重值在-1和1之间。
" \; h; s- f7 H3 w5 M
        这是什么？ 我听见你在说。这里多出了一个权重！ 不错，我很高兴看到你能注意到这一点，因为这一个附加的权重十分重要。但要解释它为什么在那里，我必须更多地介绍一些数学知识。回忆一下你就能记得，激励值是所有输入*权重的乘积的总和，而神经细胞的输出值取决于这个激励值是否超过某个阀值(t)。这可以用如下的方程来表示:

& l8 j7 ^1 N% S
         w1x1 + w2x2 + w3x3 +...+ wnxn >= t

+ _" U- E0 T! V8 m2 R0 c9 {' ^
　　上式是使细胞输出为１的条件。因为网络的所有权重需要不断演化（进化），如果阀值的数据也能一起演化，那将是非常重要的。要实现这一点不难，你使用一个简单的诡计就可以让阀值变成权重的形式。从上面的方程两边各减去t，得:
; f$ M% {4 Y4 s: Q
        w1x1 + w2x2 + w3x3 +...+ wnxn –t >= 0

2 z3 P3 ]# U2 C2 h
这个方程可以再换用一种形式写出来，如下:

; K$ R3 i5 N" W8 q" ^* U6 c
        w1x1 + w2x2 + w3x3 +...+ wnxn + t *(–1) >= 0
& E$ a& ]# P: c/ N& G+ A! S& l; W
　　到此，我希望你已能看出，阀值t为什么可以想像成为始终乘以输入为 -１的权重了。这个特殊的权重通常叫偏移（bias），这就是为什么每个神经细胞初始化时都要增加一个权重的理由。现在，当你演化一个网络时，你就不必再考虑阀值问题，因为它已被内建在权重向量中了。怎么样，想法不错吧？为了让你心中绝对敲定你所学到的新的人工神经细胞是什么样子，请再参看一下图12。
# @6 @' s4 z. t  T+ r' _
8 N( R! \8 _! \" O, W1 ?

# f$ o1 T4 V* a4 F9 n  f% \0 r3 x7 \: t# f3 F2 `
图12 带偏移的人工神经细胞。
% X6 P& T0 C' d( a( f
4.4.2  SNeuronLayer（神经细胞层的结构）
　　 神经细胞层SNeuronLayer的结构很简单；它定义了一个如图13中所示的由虚线包围的神经细胞SNeuron所组成的层。

) I  R- ]! {7 @& F+ n8 U) `0 r! z* N, N) E$ X& S0 P
1 I. U) X9 e/ ^/ ^3 A& i
/ n7 C. j+ s! f& e# k3 G5 S! H

6 u4 x/ Z  _8 D5 d: |3 m; i
　　　　　图13 一个神经细胞层。
- S2 y" Z5 C" A: J5 n
　　以下就是层的定义的源代码，它应该不再需要任何进一步的解释:

- @. x) j9 ?1 _8 a) S
struct SNeuronLayer
{
   　// 本层使用的神经细胞数目
　  int                 　　　 m_NumNeurons;
2 V; q. r% F7 ^, q: V
      // 神经细胞的层
　  vector<SNeuron>   m_vecNeurons;

7 n, n- b) J1 z4 |% l5 q' O" Z% g
　 SNeuronLayer(int NumNeurons, int NumInputsPerNeuron);
}；

; H& G, |6 \/ F8 p! H' Z1 g0 W7 D
4.4.3  CNeuralNet（神经网络类）
6 y$ v/ w! u0 t" B# W
　　这是创建神经网络对象的类。让我们来通读一下这一个类的定义:
8 G  g; c7 H: A, x" `3 {% T
class CNeuralNet
{
private:
    int                m_NumInputs;

( P5 K- ]! y2 W# T5 F2 h
    int                m_NumOutputs;

7 l! g, {8 y: a9 f; }) E
    int                m_NumHiddenLayers;
% j1 ~# U- J3 j( B; |
    int       　　m_NeuronsPerHiddenLyr;

  V* _0 y- v( v; B; ]  u0 ?
    // 为每一层（包括输出层）存放所有神经细胞的存储器
    vector<SNeuronLayer>  m_vecLayers;
& K( J3 d* ]: f* w1 v* l% N
　　所有private成员由其名称容易得到理解。需要由本类定义的就是输入的个数、输出的个数、隐藏层的数目、以及每个隐藏层中神经细胞的个数等几个参数。
% _0 l5 z$ c6 U# R* E7 [, D/ p
public:

" v3 x! M7 G- u0 d% H: E- D0 S) b
     CNeuralNet();
6 B/ f7 d, J4 t  H/ o
该构造函数利用ini文件来初始化所有的Private成员变量，然后再调用CreateNet来创建网络。
% \2 U% N0 i8 U) u
     // 由SNeurons创建网络
     void    CreateNet();

9 d+ f0 ]; o) _; b
我过一会儿马上就会告诉你这个函数的代码。
' a* c) B4 {/ _- l/ v& h. D
     // 从神经网络得到（读出）权重
     vector<double>   GetWeights()const;

( X0 N, c: h; }  c' E3 h6 y& l
　　由于网络的权重需要演化，所以必须创建一个方法来返回所有的权重。这些权重在网络中是以实数型向量形式表示的，我们将把这些实数表示的权重编码到一个基因组中。当我开始谈论本工程的遗传算法时，我将为您确切说明权重如何进行编码。
2 a% L  D. G3 F
    // 返回网络的权重的总数
    int GetNumberOfWeights()const;
2 J+ f$ N0 ?3 P. p+ h  g
    // 用新的权重代替原有的权重
    void PutWeights(vector<double> &weights);
, j" P% v# e7 c$ g/ q. @8 V0 w" k4 L! [
        这一函数所做的工作与函数GetWeights所做的正好相反。当遗传算法执行完一代时，新一代的权重必须重新插入神经网络。为我们完成这一任务的是PutWeight方法。

/ R: [5 Z; ]) l/ m* J0 y3 C7 Z8 L
     // S形响应曲线
    inline double 　Sigmoid(double activation, double response);

% b; O$ H0 }1 m
     当已知一个神经细胞的所有输入*重量的乘积之和时，这一方法将它送入到S形的激励函数。

, F4 x* ~6 t* b2 D; F
     // 根据一组输入，来计算输出
     vector<double> Update(vector<double> &inputs);
1 M, d5 `0 q) C' \  y
对此Update函数函数我马上就会来进行注释的。

) b% h! Y, p9 ]- f% W+ f. B; Q
}; // 类定义结束
8 ]' o( g% z9 X! r
4.4.3.1  CNeuralNet::CreateNet（创建神经网络的方法）
# o; \# ]# M+ e0 J
　　 我在前面没有对CNeuralNet的2个方法加以注释，这是因为我要为你显示它们的更完整的代码。这2个方法的第一个是网络创建方法CreateNet。它的工作就是把由细胞层SNeuronLayers所收集的神经细胞SNeurons聚在一起来组成整个神经网络，代码为:
: t9 f2 E; @4 o
void CNeuralNet::CreateNet()
{
    // 创建网络的各个层
    if (m_NumHiddenLayers > 0)
      {
      //创建第一个隐藏层［译注］
      m_vecLayers.push_back(SNeuronLayer(m_NeuronsPerHiddenLyr,
                                           m_NumInputs));

( G5 G! K% M6 z7 u
     for( int i=O; i<m_NumHiddenLayers-l; ++i)
     {
        m_vecLayers.push_back(SNeuronLayer(m_NeuronsPerHiddenLyr，
                                                  m_NeuronsPerHiddenLyr));
      }
" N5 {" P7 L4 s7 N* A1 O0 X
［译注］ 如果允许有多个隐藏层，则由接着for循环即能创建其余的隐藏层。
      // 创建输出层
      m_vecLayers.push_back(SNeuronLayer(m_NumOutput,m_NeuronsPerHiddenLyr));
   }
0 w2 ^& \' o! D+ F6 ]
else //无隐藏层时，只需创建输出层
   {
       // 创建输出层
        m_vecLayers.push_back(SNeuronLayer(m_NumOutputs, m_NumInputs));
   }
}

8 _* R2 j3 r# T& d0 {  H
$ n1 s7 H  }) m$ L4 \
4.4.3.2  CNeuralNet::Update（神经网络的更新方法）
& P. B4 c7 E1 o  _" s
　　Update函数(更新函数)称得上是神经网络的“主要劳动力”了。这里，输入网络的数据input是以双精度向量std::vector的数据格式传递进来的。Update函数通过对每个层的循环来处理输入*权重的相乘与求和，再以所得的和数作为激励值，通过S形函数来计算出每个神经细胞的输出，正如我们前面最后几页中所讨论的那样。Update函数返回的也是一个双精度向量std::vector，它对应的就是人工神经网络的所有输出。

! q1 b7 u: }1 O# W( w2 n9 M, b
       请你自己花两分钟或差不多的时间来熟悉一下如下的Update函数的代码，这能使你正确理解我们继续要讲的其他内容:
; L) A0 U/ k" k
vector<double> CNeuralNet::Update(vector<double> &inputs)
{
     // 保存从每一层产生的输出
     vector<double> outputs;

1 W7 n% p7 T. f6 m) k) [
     int cWeight = 0;

- T" Y" L: ]# e, l; d$ f5 S
     // 首先检查输入的个数是否正确
     if (inputs.size() != m_NumInputs)
      {
          // 如果不正确，就返回一个空向量
          return outputs;
      }

0 m9 R6 ~: D( ?" p9 M5 h; H
     // 对每一层,...
     for (int i=0; i<m_NumHiddenLayers+1; ++i)
     {
       if (i>O)
         {
            inputs = outputs;
         }
    outputs.clear();
. e9 _! ?) g. x! v5 }! o
    cWeight = 0;
  G% K7 s- V/ O; J" G5 c3 u8 j
    // 对每个神经细胞,求输入*对应权重乘积之总和。并将总和抛给S形函数,以计算输出
   for (int j=0; j<m_vecLayers.m_NumNeurons; ++j)
        {
          double netinput = 0;
2 k: s  E/ |+ ]( P* f3 o' O
          int NumInputs = m_vecLayers.m_vecNeurons[j].m_NumInputs;
4 h& b% @9 b9 B( X" K% j
         // 对每一个权重
         for (int k=O; k<NumInputs-l; ++k)
         {
            // 计算权重*输入的乘积的总和。
            netinput += m_vecLayers.m_vecNeurons[j].m_vecWeight[k] *
     　   　　　　　      inputs[cWeight++];
         }
* B" u9 i: l( y4 h2 l4 K0 ~
        // 加入偏移值
        netinput += m_vecLayers.m_vecNeurons[j].m_vecWeight[NumInputs-1] *
                    CParams::dBias;

$ H& s3 X! c) w3 i9 r" @
　　别忘记每个神经细胞的权重向量的最后一个权重实际是偏移值，这我们已经说明过了，我们总是将它设置成为 –1的。我已经在ini文件中包含了偏移值，你可以围绕它来做文章，考察它对你创建的网络的功能有什么影响。不过，这个值通常是不应该改变的。
7 k5 n: S& {8 p" V0 Q7 s! \
     // 每一层的输出，当我们产生了它们后，我们就要将它们保存起来。但用Σ累加在一起的
     // 激励总值首先要通过S形函数的过滤，才能得到输出
outputs.push_back(Sigmoid(netinput,CParams::dActivationResponse)); cWeight = 0:
    }
  }
/ A: V! a" F# t# m
  return outputs;
}
$ z/ _0 n4 ]* S, ]$ n

+ W$ Z! n5 J3 Z) P! r6 O
作者: fly370023196    时间: 2016-4-7 19:17
66666666666666666666666661 S* Z: t' K* ?: Z) W, j# U% F
作者: fly370023196    时间: 2016-4-7 19:17
6666666666666666666666666
7 E( A; r2 f# }6 g9 H- j7 D. N



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5