我见过的最脑残也是最好懂的人工神经网络算法教程（四）

数学中国YY主管

4.4  CNeuralNet.h（神经网络类的头文件）

　　在CNeuralNet.h 文件中，我们定义了人工神经细胞的结构、定义了人工神经细胞的层的结构、以及人工神经网络本身的结构。首先我们来考察人工神经细胞的结构。

4.4.1  SNeuron（神经细胞的结构）

# `7 C2 e0 N  s) ]( @& Y# Q

　　 这是很简单的结构。人工神经细胞的结构中必须有一个正整数来纪录它有多少个输入，还需要有一个向量std:vector来表示它的权重。请记住，神经细胞的每一个输入都要有一个对应的权重。

( k& _$ R( I+ Q

Struct SNeuron

{

     // 进入神经细胞的输入个数

     int m_NumInputs;

1 I, ~7 y" U3 @3 p8 v1 {

     // 为每一输入提供的权重

     vector<double> m_vecWeight;

4 r, b+ C, e$ l( [: O" T

     //构造函数

     SNeuron(int NumInputs);

  };

4 @3 S( t) Y: E7 V+ i# ^

以下就是SNeuron 结构体的构造函数形式:

! f. R; I3 X8 `2 U& u

SNeuron::SNeuron(int NumInputs): m_NumInputs(NumInputs+1)

(

     // 我们要为偏移值也附加一个权重，因此输入数目上要 +1

     for (int i=0; i<NumInputs+1; ++i)

     {

         // 把权重初始化为任意的值

         m_vecWeight.push_back(RandomClamped());

     }

}

　　由上可以看出，构造函数把送进神经细胞的输入数目NumInputs作为一个变元，并为每个输入创建一个随机的权重。所有权重值在-1和1之间。

        这是什么？ 我听见你在说。这里多出了一个权重！ 不错，我很高兴看到你能注意到这一点，因为这一个附加的权重十分重要。但要解释它为什么在那里，我必须更多地介绍一些数学知识。回忆一下你就能记得，激励值是所有输入*权重的乘积的总和，而神经细胞的输出值取决于这个激励值是否超过某个阀值(t)。这可以用如下的方程来表示:

         w1x1 + w2x2 + w3x3 +...+ wnxn >= t

1 r- e/ x4 i+ `. w

　　上式是使细胞输出为１的条件。因为网络的所有权重需要不断演化（进化），如果阀值的数据也能一起演化，那将是非常重要的。要实现这一点不难，你使用一个简单的诡计就可以让阀值变成权重的形式。从上面的方程两边各减去t，得:

6 p7 U1 H$ I8 E

        w1x1 + w2x2 + w3x3 +...+ wnxn –t >= 0

  m5 r4 y/ g+ X- b& ^$ q2 @

这个方程可以再换用一种形式写出来，如下:

        w1x1 + w2x2 + w3x3 +...+ wnxn + t *(–1) >= 0

' p5 ]/ F2 q1 T, @9 x) W. r% I. N

　　到此，我希望你已能看出，阀值t为什么可以想像成为始终乘以输入为 -１的权重了。这个特殊的权重通常叫偏移（bias），这就是为什么每个神经细胞初始化时都要增加一个权重的理由。现在，当你演化一个网络时，你就不必再考虑阀值问题，因为它已被内建在权重向量中了。怎么样，想法不错吧？为了让你心中绝对敲定你所学到的新的人工神经细胞是什么样子，请再参看一下图12。

) B0 }, t9 [, F$ e7 x8 z' t% _
8 ^3 ?6 k+ l" v
# j9 k0 w/ T3 F& I

图12 带偏移的人工神经细胞。

4.4.2  SNeuronLayer（神经细胞层的结构）

　　 神经细胞层SNeuronLayer的结构很简单；它定义了一个如图13中所示的由虚线包围的神经细胞SNeuron所组成的层。

9 n" K! o7 h" G, i3 ?* S
6 R6 ~" M- f4 S. ?# H
) z7 }9 Y0 d3 j) I; _# D" j" t+ v
1 S* L: i) ?! ?" R& E3 `& F
; ?: z9 E# p3 w% p  L

　　　　　图13 一个神经细胞层。

" W; G! R; I( b. t4 ~# D

　　以下就是层的定义的源代码，它应该不再需要任何进一步的解释:

, s, d7 d9 Y6 P1 Z2 E3 Q6 U$ d: s

struct SNeuronLayer

{

   　// 本层使用的神经细胞数目

　  int                 　　　 m_NumNeurons;

# T; P* I0 U6 B+ m! o; W' c' J6 ~4 Y

      // 神经细胞的层

　  vector<SNeuron>   m_vecNeurons;

　 SNeuronLayer(int NumNeurons, int NumInputsPerNeuron);

}；

4.4.3  CNeuralNet（神经网络类）

　　这是创建神经网络对象的类。让我们来通读一下这一个类的定义:

! L+ D2 @: C" f/ N( O1 b8 ~  e

class CNeuralNet

{

private:

    int                m_NumInputs;

    int                m_NumOutputs;

    int                m_NumHiddenLayers;

    int       　　m_NeuronsPerHiddenLyr;

    // 为每一层（包括输出层）存放所有神经细胞的存储器

    vector<SNeuronLayer>  m_vecLayers;

7 a; T8 \* t! s1 x9 {0 i

　　所有private成员由其名称容易得到理解。需要由本类定义的就是输入的个数、输出的个数、隐藏层的数目、以及每个隐藏层中神经细胞的个数等几个参数。

# {9 j( T/ p1 I

public:

     CNeuralNet();

该构造函数利用ini文件来初始化所有的Private成员变量，然后再调用CreateNet来创建网络。

     // 由SNeurons创建网络

     void    CreateNet();

我过一会儿马上就会告诉你这个函数的代码。

! i, d& }' R/ a4 J+ B

     // 从神经网络得到（读出）权重

     vector<double>   GetWeights()const;

) ~6 ~6 J3 w7 Y& p, U

　　由于网络的权重需要演化，所以必须创建一个方法来返回所有的权重。这些权重在网络中是以实数型向量形式表示的，我们将把这些实数表示的权重编码到一个基因组中。当我开始谈论本工程的遗传算法时，我将为您确切说明权重如何进行编码。

    // 返回网络的权重的总数

    int GetNumberOfWeights()const;

0 G5 G$ G( S1 B. }, R% v% m+ d+ m

    // 用新的权重代替原有的权重

    void PutWeights(vector<double> &weights);

        这一函数所做的工作与函数GetWeights所做的正好相反。当遗传算法执行完一代时，新一代的权重必须重新插入神经网络。为我们完成这一任务的是PutWeight方法。

     // S形响应曲线

    inline double 　Sigmoid(double activation, double response);

) X- Y  \  i+ |7 r, F6 j

     当已知一个神经细胞的所有输入*重量的乘积之和时，这一方法将它送入到S形的激励函数。

! N7 }* Y3 g9 v

     // 根据一组输入，来计算输出

     vector<double> Update(vector<double> &inputs);

对此Update函数函数我马上就会来进行注释的。

9 b: M. H# _' y3 w

}; // 类定义结束

) R& T; z9 X3 b, u5 g' W) K

4.4.3.1  CNeuralNet::CreateNet（创建神经网络的方法）

4 l7 R7 ^; g# K: V$ Q: `, B# o

　　 我在前面没有对CNeuralNet的2个方法加以注释，这是因为我要为你显示它们的更完整的代码。这2个方法的第一个是网络创建方法CreateNet。它的工作就是把由细胞层SNeuronLayers所收集的神经细胞SNeurons聚在一起来组成整个神经网络，代码为:

void CNeuralNet::CreateNet()

{

    // 创建网络的各个层

    if (m_NumHiddenLayers > 0)

      {

      //创建第一个隐藏层［译注］

      m_vecLayers.push_back(SNeuronLayer(m_NeuronsPerHiddenLyr,

                                           m_NumInputs));

     for( int i=O; i<m_NumHiddenLayers-l; ++i)

     {

        m_vecLayers.push_back(SNeuronLayer(m_NeuronsPerHiddenLyr，

                                                  m_NeuronsPerHiddenLyr));

      }

+ O- Q) Y8 U$ \% _6 H

［译注］ 如果允许有多个隐藏层，则由接着for循环即能创建其余的隐藏层。

      // 创建输出层

      m_vecLayers.push_back(SNeuronLayer(m_NumOutput,m_NeuronsPerHiddenLyr));

   }

: \4 M) U$ w2 E

else //无隐藏层时，只需创建输出层

   {

       // 创建输出层

        m_vecLayers.push_back(SNeuronLayer(m_NumOutputs, m_NumInputs));

   }

}

' a1 }2 ~, S9 a; B3 s* o2 c
, M4 T) s% j: H, G3 r

4.4.3.2  CNeuralNet::Update（神经网络的更新方法）

3 A' M$ v, @' X- d4 y

　　Update函数(更新函数)称得上是神经网络的“主要劳动力”了。这里，输入网络的数据input是以双精度向量std::vector的数据格式传递进来的。Update函数通过对每个层的循环来处理输入*权重的相乘与求和，再以所得的和数作为激励值，通过S形函数来计算出每个神经细胞的输出，正如我们前面最后几页中所讨论的那样。Update函数返回的也是一个双精度向量std::vector，它对应的就是人工神经网络的所有输出。

3 |; a) V. C( p8 M% A

       请你自己花两分钟或差不多的时间来熟悉一下如下的Update函数的代码，这能使你正确理解我们继续要讲的其他内容:

vector<double> CNeuralNet::Update(vector<double> &inputs)

{

     // 保存从每一层产生的输出

     vector<double> outputs;

3 |# S- h; M' B/ {& z8 Z

     int cWeight = 0;

: |3 L, a5 ]( i1 S! H

     // 首先检查输入的个数是否正确

     if (inputs.size() != m_NumInputs)

      {

          // 如果不正确，就返回一个空向量

          return outputs;

      }

. Y1 t0 {2 P8 j0 o  ]- W( ]

     // 对每一层,...

     for (int i=0; i<m_NumHiddenLayers+1; ++i)

     {

       if (i>O)

         {

            inputs = outputs;

         }

    outputs.clear();

5 M. S4 X; I3 j* u: w' n$ ?' ^$ j  n

    cWeight = 0;

) _; V7 Q9 S1 K4 y0 o; R; N! |5 J

    // 对每个神经细胞,求输入*对应权重乘积之总和。并将总和抛给S形函数,以计算输出

   for (int j=0; j<m_vecLayers.m_NumNeurons; ++j)

        {

          double netinput = 0;

          int NumInputs = m_vecLayers.m_vecNeurons[j].m_NumInputs;

         // 对每一个权重

         for (int k=O; k<NumInputs-l; ++k)

         {

            // 计算权重*输入的乘积的总和。

            netinput += m_vecLayers.m_vecNeurons[j].m_vecWeight[k] *

     　   　　　　　      inputs[cWeight++];

         }

% g5 g; J- t: S% ~) |7 K% Y

        // 加入偏移值

        netinput += m_vecLayers.m_vecNeurons[j].m_vecWeight[NumInputs-1] *

                    CParams::dBias;

1 H$ }( N5 ?9 c5 r  i7 c* Q/ z

　　别忘记每个神经细胞的权重向量的最后一个权重实际是偏移值，这我们已经说明过了，我们总是将它设置成为 –1的。我已经在ini文件中包含了偏移值，你可以围绕它来做文章，考察它对你创建的网络的功能有什么影响。不过，这个值通常是不应该改变的。

     // 每一层的输出，当我们产生了它们后，我们就要将它们保存起来。但用Σ累加在一起的

     // 激励总值首先要通过S形函数的过滤，才能得到输出

outputs.push_back(Sigmoid(netinput,CParams::dActivationResponse)); cWeight = 0:

    }

  }

4 Y) |" g' S% p3 d

  return outputs;

}

4 c+ }5 J+ g- G! E
1 H& z# }) S: V3 l3 J

fly370023196

6666666666666666666666666
# b9 O0 C) l' g- E2 O/ @

fly370023196

6666666666666666666666666
- Z" a% x) @- y' N6 e8 E  Y# K) L4 M