【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏
) q  p* [8 a# b( [  B
7 f2 f. ~3 v! ]6 r  m

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

+ Z# c7 @# r$ m+ u+ X( t一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

! O; d7 \+ e  t* K; G+ O/ H4 x

　　遗传算法有3个最基本的操作：选择，交叉，变异。

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

[url=][/url]
# U0 r/ I7 ~2 [2 n# ~轮盘赌算法/*
* 按设定的概率，随机选中一个个体
* P表示第i个个体被选中的概率
*/
, E+ R4 b& I% N2 [int RWS()
{
/ p9 e8 e( b: \9 T. Lm =0;
r =Random(0,1); //r为0至1的随机数
" L% k9 G7 A+ h/ P% h) p6 dfor(i=1;i<=N; i++)
{
! N1 R, r5 P; k# F& P' G8 s& L/* 产生的随机数在m~m+P间则认为选中了i
1 D/ D2 m, p5 a+ s$ M* 因此i被选中的概率是P
*/
m = m + P;
# b+ T/ o) c, A  ^if(r<=m) return i;
6 a) Q8 E3 |5 h7 j3 a) X}
  g9 k" d+ v! ?1 `. e! h, Y8 G}
" V; z2 C+ p" w) A. r6 R3 \
5 {7 d* P. O. F- W6 _/ S[url=][/url]

6 O& A4 B( ?2 N5 i
: w/ w$ z1 m! E

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

0 m1 ]% F6 i5 U! X& d0 ~# n
三.基本遗传算法的伪代码
: c& N3 K% k2 q3 d- t  Z
[url=][/url]
基本遗传算法伪代码/*
; K4 X  q" Q! i) ~7 ~+ d' f* Pc：交叉发生的概率
% |' g0 b1 _7 j( F' i5 z* Pm：变异发生的概率
* M：种群规模
4 `/ F( a3 W& Z& ?2 a* G：终止进化的代数
9 X- X4 z6 t: {) P* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
/ L: a+ N- L# e5 _3 N; s*/
初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop

do
{
　　计算种群Pop中每一个体的适应度F(i)。
　　初始化空种群newPop
　　do
　　{
5 x0 O; [, \7 q7 D' w　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
　　　　if ( random ( 0 , 1 ) < Pc )
　　　　{
6 `' N8 V6 D# Y! C7 o; @　　　　　　对2个个体按交叉概率Pc执行交叉操作
　　　　}
　　　　if ( random ( 0 , 1 ) < Pm )
　　　　{
3 j: u$ _2 ], Y7 a! ^/ ~8 d　　　　　　对2个个体按变异概率Pm执行变异操作
. o+ Z5 n) ]& D& T/ ~　　　　}
将2个新个体加入种群newPop中
} until ( M个子代被创建 )
用newPop取代Pop
}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )
& d6 O! h9 s9 `% K: Q& `
# b8 F( Q4 Q/ c# W
[url=][/url]
3 ~9 H6 j4 a# I. K
; e/ [( k6 |  {! ]

四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

( m2 l# W; Q! O* z+ R- V

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

: U1 a, l' z! m" ?

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

1 }) D5 t& j( o% `( U- n7 h

图1. AForge.Genetic的类图

) H/ J/ R' O; b5 S

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

* T/ j9 ^9 g2 x* c[url=][/url]
13042312
36391315
41772244
37121399
) \/ I8 |) _0 F5 F# |9 s34881535
33261556
8 e: \. k5 _0 A+ `6 B+ Z  V& S8 o32381229
41961004
4312790
4386570
( z0 o6 L. t, z1 i2 n, d30071970
25621756
27881491
9 C8 Y; O" K- f23811676
) T9 P4 _! z' j5 K  o1332695
2 F' V$ A: V; n! D# h. f6 p5 L5 }37151678
$ b' A& R7 y4 I6 [  t8 _) S' Q1 l" i3 ]: c39182179
9 O9 }7 V3 C2 k1 l& l, G0 m9 @40612370
4 {" p1 s# O- C1 }3 ?3 x( I- R37802212
* i* }# j- M+ P# w3 \  |9 w$ Y36762578
40292838
42632931
34291908
" j! g' [) w- a4 O7 l35072367
33942643
& a6 f- k$ k) e* E% A% g34393201
29353240
$ {/ \0 ?* l- |/ p, O" d8 v: A31403550
, A0 Q9 v# F1 f3 p- d25452357
; e8 S/ L6 G3 l8 d3 \27782826
% @$ [( c$ @$ n& ~& c) ]  \% T23702975
[url=][/url]
, P1 k9 o6 @" a/ a5 p* i% A
3 {  A7 u% A- p; g# S0 b" n
, x/ \; {: U. ]0 P( ?

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

6 a1 q  J+ T9 x) _[url=][/url]
8 z/ ]! l3 E$ @TSPFitnessFunction类using System;
using AForge.Genetic;

; i7 U8 f7 S% H* W7 I- enamespace GenticTSP
{
///<summary>
/// Fitness function for TSP task (Travaling Salasman Problem)
///</summary>
publicclass TSPFitnessFunction : IFitnessFunction
( _  |) G9 q1 K: U$ }" W{
// map
privateint[,] map =null;
. ~+ \9 Q, g3 x6 L( W0 \# N
// Constructor
public TSPFitnessFunction(int[,] map)
/ K( Y! R: {0 K( @1 D! k+ D{
this.map = map;
2 }( H/ a, G& d( s}

///<summary>
/// Evaluate chromosome - calculates its fitness value
, L% z9 R0 Q) F, \6 m% S///</summary>
publicdouble Evaluate(IChromosome chromosome)
{
9 H& G2 p# k, j) G1 R. _2 J5 breturn1/ (PathLength(chromosome) +1);
" C+ K' x% Y) H- n3 n; F( T" m}

///<summary>
% @" v0 Y; k' g  m4 m, i  \+ [/ {/// Translate genotype to phenotype
///</summary>
7 y' W: @" F1 B+ b5 G% cpublicobject Translate(IChromosome chromosome)
$ n7 A% a: R: g0 p{
return chromosome.ToString();
}

///<summary>
/// Calculate path length represented by the specified chromosome
" [  l5 `; A7 O///</summary>
publicdouble PathLength(IChromosome chromosome)
{
4 H! d+ K% B3 ~* t/ m% e// salesman path
" n- H" J9 P4 `4 mushort[] path = ((PermutationChromosome)chromosome).Value;
9 G) G8 W/ M0 i
9 u$ u! v$ |2 }/ R// check path size
& K" F. c1 Q+ s! [% _. lif (path.Length != map.GetLength(0))
; s: l6 h* U+ L# l0 M7 y/ N- B{
thrownew ArgumentException("Invalid path specified - not all cities are visited");
}
+ P' g# p2 \5 _
// path length
int prev = path[0];
% c) g% M7 h7 N3 \4 tint curr = path[path.Length -1];

// calculate distance between the last and the first city
: E. M0 T' ^2 T: j- l# `- C. i! ], \double dx = map[curr, 0] - map[prev, 0];
double dy = map[curr, 1] - map[prev, 1];
2 e; A6 x9 X# R( n* h' d# c! Ndouble pathLength = Math.Sqrt(dx * dx + dy * dy);

$ ]9 J( a7 |6 R6 J6 a3 P0 p. [: l// calculate the path length from the first city to the last
for (int i =1, n = path.Length; i < n; i++)
{
// get current city
0 m  A  U8 t0 Z3 }8 H$ \curr = path;

. `/ L; l: \2 W+ b6 q% w// calculate distance
dx = map[curr, 0] - map[prev, 0];
dy = map[curr, 1] - map[prev, 1];
pathLength += Math.Sqrt(dx * dx + dy * dy);
) Y& i8 k8 n, m2 \
// put current city as previous
$ t9 `3 `; f6 @  o& i" Eprev = curr;
}
4 V( y4 h( w( E) R# y( K) F: ^
return pathLength;
/ w  f6 O- J( l, C}
}
}


: z4 V1 G% Y& O5 w  M& c3 l[url=][/url]
& E$ L9 o& \: V, D! A* ]

   (5) 添加GenticTSP.cs，加入如下代码：

, S- s& ^$ P* p1 y  {1 n8 G. l[url=][/url]
2 _+ b# R, a' K  t7 a5 YGenticTSP类using System;
+ T1 X2 S8 @( R. [" A/ @using System.Collections.Generic;
# r1 S- ], X: s% M  Y' m5 Y/ {using System.Linq;
' b  p. L9 a5 A9 tusing System.Text;
. Q( U% X( T3 T* r3 wusing System.IO;

: X+ _! F3 @1 ]" x1 X3 zusing AForge;
using AForge.Genetic;


namespace GenticTSP
" t" [& V; A) t" f; T! R{
class GenticTSP
{

staticvoid Main()
/ t# P; D4 z8 u' N& S) V{
9 Y: W- b: s  K) w; X' eStreamReader reader =new StreamReader("Data.txt");

int citiesCount =31; //城市数
; q! \$ t+ N4 L/ x2 e% a
: O. j  ]* u- {8 I( }2 K& uint[,] map =newint[citiesCount, 2];
2 X4 N& F! \# \& ~0 j2 F" i$ O# Y
for (int i =0; i < citiesCount; i++)
{
string value = reader.ReadLine();
; C% W6 b9 R7 t4 ?/ t  Vstring[] temp = value.Split('');
5 r! q* O% F" e/ x* J( Y4 \! zmap[i, 0] =int.Parse(temp[0]); //读取城市坐标
$ ?& G. c* A; d1 ]! E- Xmap[i, 1] =int.Parse(temp[1]);
}
) _% Q4 |% K: f* A
- H4 A3 t0 d& h5 `// create fitness function
TSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);
8 |* }" y3 z& l4 j) M! t
int populationSize = 1000; //种群最大规模
+ l$ {+ z+ n1 r- G) x
/*
, g8 U2 ]- A; v! {* 0：EliteSelection算法
* 1：RankSelection算法
* 其他：RouletteWheelSelection 算法
7 c% P# Y' E8 W. l. z5 Z* */
int selectionMethod =0;
, n5 ]% C" z2 Q% a$ m2 g
& m; e( s; U1 a8 T// create population
Population population =new Population(populationSize,
. Q. t4 M5 e4 \7 U. Inew PermutationChromosome(citiesCount),
! v4 Z1 g/ I4 Y3 B% f( LfitnessFunction,
(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
7 L0 i" D' ?5 d2 w  l(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
(ISelectionMethod)new RouletteWheelSelection()
9 b4 V1 d2 z" ]. ^/ ~4 ~: A- _! M);
/ R% O+ W4 A/ F8 b- Z8 v
$ F3 _3 e! J) l% j// iterations
int iter =1;
7 V1 V1 I: C# `& \int iterations =5000; //迭代最大周期

// loop
while (iter < iterations)
& [. Z8 G7 f% e& ~( A% V{
// run one epoch of genetic algorithm
2 E9 i7 a" o2 k9 g% h2 a# }population.RunEpoch();

! y2 Y( p! |+ E2 a3 w& P; F- `// increase current iteration
# B( l+ J0 y) S2 ]+ ^+ ]iter++;
, P/ \9 @: H' \0 T/ M}
- g0 u8 A& j* O% `2 o$ Y' `
- a: H- o( E- J; g( b2 m1 X  l3 rSystem.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
1 h' f& \1 H$ w" f8 |5 b! k) j. \System.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
" B9 i: K! ^- Q$ ?( ~- QSystem.Console.Read();

}
}
0 T+ z5 @* ?7 S( c' i3 }1 M}

& c2 ]2 s/ h# [! W" l0 X/ s
[url=][/url]
1 L8 [) b* J# ^1 I


$ L( U+ u2 t( R* L2 `

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

) q3 I7 E4 w4 ?0 t) J+ z4 z
& x3 L5 }- d/ G* H9 I: i