【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

* U/ J- Z% z! k+ a5 s一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

4 j6 C$ X. K' |# v2 |3 L二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

  D* z9 Y( q* }% V: b, q

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

% `  P9 u3 L3 `; Q# g

　　遗传算法有3个最基本的操作：选择，交叉，变异。

5 {2 i0 i5 R3 d* i, |! q4 g

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

8 a5 N# i: N- S' I. ~[url=][/url]
8 u2 P1 }+ r. p轮盘赌算法/*
* 按设定的概率，随机选中一个个体
* P表示第i个个体被选中的概率
*/
int RWS()
{
m =0;
3 X) V! K+ w' M& i7 ~r =Random(0,1); //r为0至1的随机数
% U1 @" C$ @+ {0 K: Mfor(i=1;i<=N; i++)
6 A# A) L! _+ m, r  S: K1 L/ z{
, t* O8 r+ E$ \, l. Z& n6 x/* 产生的随机数在m~m+P间则认为选中了i
* 因此i被选中的概率是P
*/
m = m + P;
5 e/ b- r* `" \. s7 aif(r<=m) return i;
}
}
) p% }5 w  [& t3 |- V5 O5 h
[url=][/url]
( q1 ?/ g6 ?& `) [* l+ u3 N
7 Q2 k( u5 q' S5 j) `

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

. S+ T+ C" d4 Q4 _; l" V: J* ^
三.基本遗传算法的伪代码

5 o9 `4 [" d$ T  `  r& l[url=][/url]
基本遗传算法伪代码/*
4 R: U& ^; i  @' a# p* Pc：交叉发生的概率
+ a* T# P- l  X% I* Pm：变异发生的概率
% r. X. ^6 P6 Q# V7 q* M：种群规模
" X* u5 Z/ h% ?* G：终止进化的代数
* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
5 S) l8 C# P* t/ A* U  }*/
初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop

0 ]' C* L1 n$ Q6 q% p+ ]! k7 Bdo
$ H% H9 p$ J7 J) ?2 K{
* K7 d7 C3 ^# h9 f　　计算种群Pop中每一个体的适应度F(i)。
　　初始化空种群newPop
　　do
6 E1 ~9 ~$ h" h+ h　　{
　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
　　　　if ( random ( 0 , 1 ) < Pc )
. N- c* [4 G& R　　　　{
　　　　　　对2个个体按交叉概率Pc执行交叉操作
. ]- R3 J9 x7 Z( h% z1 |　　　　}
　　　　if ( random ( 0 , 1 ) < Pm )
　　　　{
　　　　　　对2个个体按变异概率Pm执行变异操作
2 c6 F/ q& T9 M! y　　　　}
9 q$ [# r0 n) S; F& Y9 p  N将2个新个体加入种群newPop中
} until ( M个子代被创建 )
用newPop取代Pop
$ q" F: F" X0 J3 D0 k7 }& ]}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )

* x4 j: b3 M" f5 T
[url=][/url]



四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

- F  ]+ L: M- B" ~1 h: g

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

图1. AForge.Genetic的类图

$ k8 r2 [; O* ~% k/ f6 b

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

2 t0 K- k; R) g# a, E9 W; x' W8 F[url=][/url]
13042312
36391315
$ k0 U, A4 ?6 n6 D! ]; S( j41772244
37121399
8 `2 i" |9 g8 \6 k34881535
33261556
32381229
41961004
4312790
4386570
' M* d- H5 {7 R- m$ P/ R  b30071970
& Z3 U/ t7 W1 d9 X4 A- i- X25621756
1 P0 a& b; Z, L' l. U# o1 m* S27881491
& ~, ?/ J: Y& t! [0 N23811676
9 K; [. _( O/ C- }$ S7 _2 Y1332695
37151678
39182179
40612370
37802212
36762578
, h+ _4 Y4 R& m1 _9 I/ ^40292838
42632931
# V5 ]3 O6 j  |$ o34291908
8 K2 J( E3 d+ p35072367
33942643
34393201
6 T# N9 r& Z; M29353240
  k- E  h1 a- u- A) E2 L" w6 z31403550
25452357
27782826
23702975
$ V- e" Z2 ?) I6 o[url=][/url]


( J- m6 f; e5 G% X
- [- B4 d- N3 d, t1 k

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

* A+ R- f' A& D4 T! k[url=][/url]
TSPFitnessFunction类using System;
# K- M9 x* I: ^7 T2 Xusing AForge.Genetic;
& \1 `' L( |5 [+ ~$ ~, Y
namespace GenticTSP
{
///<summary>
/// Fitness function for TSP task (Travaling Salasman Problem)
+ O3 F! J; [$ \9 }# B, ?$ |///</summary>
1 _& G: S6 p( c: W* I, R% G1 f6 ypublicclass TSPFitnessFunction : IFitnessFunction
{
// map
7 g( i, z2 e2 x/ }privateint[,] map =null;
  V0 c% z/ I  u, P2 B
// Constructor
( K% J' x* V. D0 Kpublic TSPFitnessFunction(int[,] map)
{
7 r% N9 `% Y' x+ X' {this.map = map;
& N* y4 v& n1 |}
0 {: f% |9 P0 y0 z, k2 A
: H' H6 l" y5 t1 a* ?/ D///<summary>
/// Evaluate chromosome - calculates its fitness value
///</summary>
: M( c: g! q' M0 k2 B1 @publicdouble Evaluate(IChromosome chromosome)
, y* T/ G6 K: k# Z  R{
) a+ L+ w# ~, c3 ~) c9 r; treturn1/ (PathLength(chromosome) +1);
0 Q) V/ E7 k, ]+ r& p* S: k6 s% N/ N% y}

+ O/ M% ]8 s$ y, Y2 `% l# Z///<summary>
& @2 D: R, E1 h( Z/// Translate genotype to phenotype
///</summary>
1 \) j6 \5 u  [5 }4 ?publicobject Translate(IChromosome chromosome)
0 P2 U8 t- e& F- @; j4 Y2 g{
! k0 Q/ G" A8 oreturn chromosome.ToString();
- [. h6 A7 Z5 W" ~6 j4 s}
  C. Y* J5 A5 H* u4 i6 L- V
///<summary>
/// Calculate path length represented by the specified chromosome
///</summary>
) v' S  U, ?% {  Zpublicdouble PathLength(IChromosome chromosome)
# @( f% E. f7 l) @6 r{
// salesman path
ushort[] path = ((PermutationChromosome)chromosome).Value;

// check path size
; I5 Y2 r( _4 e( O5 ^if (path.Length != map.GetLength(0))
( ^2 |& Y0 U: d' |! H2 F4 \{
thrownew ArgumentException("Invalid path specified - not all cities are visited");
}

// path length
4 e  G+ ?( Z. ?3 `, uint prev = path[0];
$ B& _2 f4 R6 |int curr = path[path.Length -1];

& B* k( N6 y' j7 [// calculate distance between the last and the first city
double dx = map[curr, 0] - map[prev, 0];
double dy = map[curr, 1] - map[prev, 1];
double pathLength = Math.Sqrt(dx * dx + dy * dy);
2 W* V% i8 e  v9 M9 I2 C
// calculate the path length from the first city to the last
for (int i =1, n = path.Length; i < n; i++)
/ n8 N0 t3 q. [6 O5 r{
// get current city
curr = path;

// calculate distance
' k# V$ ?  |- i/ Odx = map[curr, 0] - map[prev, 0];
dy = map[curr, 1] - map[prev, 1];
pathLength += Math.Sqrt(dx * dx + dy * dy);

// put current city as previous
6 ~) [2 H0 X+ ~8 K! C$ Uprev = curr;
  b8 y& v! A5 R0 J$ ?}
3 ^: e* t. Y' f% r" y
return pathLength;
0 B' I* O4 Z2 D% c9 i; P}
8 Y4 e0 V! @1 Z) w; [$ ?1 k4 ]* V: k9 r}
}

! B7 ^& T- V3 W6 F; B/ {9 d
: U& Z' E5 P1 v+ z% X8 V[url=][/url]

. m4 J5 n$ P( i* p

   (5) 添加GenticTSP.cs，加入如下代码：

[url=][/url]
; i' s8 E. K- v4 [6 Z8 J: s+ L& yGenticTSP类using System;
using System.Collections.Generic;
using System.Linq;
$ g7 I- q8 C9 T* rusing System.Text;
using System.IO;
: P/ J& O- H- C! [7 ?: s1 Z
* N9 ^) U& Z7 ^using AForge;
using AForge.Genetic;

/ |9 A$ e2 T, I8 \5 H3 P7 a; L
namespace GenticTSP
{
class GenticTSP
{

+ S6 ~- w* R) L1 e5 Tstaticvoid Main()
{
StreamReader reader =new StreamReader("Data.txt");
' i, p: E4 g* K6 I4 @5 V. Y7 T
int citiesCount =31; //城市数
; z" I9 p+ h7 h9 g/ E% Y
; M% z; n- u/ E3 @5 b7 m5 S/ Hint[,] map =newint[citiesCount, 2];

for (int i =0; i < citiesCount; i++)
{
- e6 a  ?8 @1 g$ I' S# t4 U% ostring value = reader.ReadLine();
& S2 ~: g( b9 T4 o5 d$ B2 cstring[] temp = value.Split('');
map[i, 0] =int.Parse(temp[0]); //读取城市坐标
map[i, 1] =int.Parse(temp[1]);
6 U" k" }& u; q  r2 h  n5 b. w) p}

" w1 h: C% [0 q# Q  l// create fitness function
6 R) A  p0 N8 G9 ~5 V& L' i( j; hTSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);
3 I6 c+ r' w/ E8 A. R
$ q* a3 s8 f2 ]$ V3 f4 X: }2 Dint populationSize = 1000; //种群最大规模
+ e$ A% H3 r. I. P" J- o" x
$ ?) V2 f0 J7 ~/*
* 0：EliteSelection算法
* 1：RankSelection算法
0 m# |+ {3 i5 H: Z% s( M" A& o$ H* 其他：RouletteWheelSelection 算法
7 {# X( h- t, k0 |/ ]# T* */
' C+ L% ^/ `; y' t4 Oint selectionMethod =0;

// create population
Population population =new Population(populationSize,
new PermutationChromosome(citiesCount),
( U6 ^6 }3 r9 J1 n6 ^fitnessFunction,
" N1 ?) E' `* n+ t& c; @(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
(ISelectionMethod)new RouletteWheelSelection()
);
  C9 R2 {. U& u5 z) Z
// iterations
3 U' U$ J" u9 h8 }; D% |int iter =1;
int iterations =5000; //迭代最大周期
6 y/ q( H; ^7 f6 ?* R
1 W. j! l8 Y: w" z1 A. O; ?2 V// loop
while (iter < iterations)
3 G* i% }% y4 W$ t8 \{
" B4 a  K7 ]1 {3 D# c// run one epoch of genetic algorithm
population.RunEpoch();
% t% h4 ~  O2 n( @
// increase current iteration
- H: H3 R) H- m( y8 b5 viter++;
}
0 D$ |# c3 Y' L+ b  [1 Q9 z9 t
System.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
System.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
" ~6 f2 u5 T+ }+ g- ]' _System.Console.Read();

& `' x, X* `- f3 ?* n) c: J! ?}
7 U/ T; O) H- l}
}


[url=][/url]

8 V3 p* a* H6 |# a5 N
/ v8 e1 l' e" ]! E4 `( R/ f. b$ d2 ?
5 T% m. B) N" U

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

- p2 m9 D4 u4 L! Y. O

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

1 i, O+ P( ], N9 k1 k# G( k