【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏
2 k" o9 l" d* c' K
" T: U( Y8 w6 P% p

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

  }: L/ {6 S2 ]( Z; i2 l
一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

7 a' D( ?! P3 r% w2 T% W& D7 E7 Y& U
1 M, k" f6 L. }9 @二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

! y* x; t( \. c8 Y3 v; |. u5 C4 L- ~

　　遗传算法有3个最基本的操作：选择，交叉，变异。

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

[url=][/url]
' Y2 U' T% J/ R6 q5 l轮盘赌算法/*
* 按设定的概率，随机选中一个个体
* P表示第i个个体被选中的概率
*/
. E4 W8 V" T( O, f5 N$ P- P1 Uint RWS()
9 F5 V/ W: K4 H5 b$ f& h* A{
0 Q  [. m$ z9 Z# y  X) ]m =0;
7 s' r  V( R1 Y- tr =Random(0,1); //r为0至1的随机数
* j* Y( Y" ?5 K0 U2 M  mfor(i=1;i<=N; i++)
{
/* 产生的随机数在m~m+P间则认为选中了i
0 o7 W, E! c/ ]$ R, X9 L* 因此i被选中的概率是P
# p9 ^2 P7 @' a1 B  a*/
m = m + P;
* S) j6 f% w- t9 E5 q9 Eif(r<=m) return i;
5 W7 j3 ]. f% H1 `6 M3 s}
% q* B/ M5 D; l4 @}

$ i7 c7 I1 X; ^[url=][/url]
( b8 ?* I6 L+ w8 [2 W- o

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

2 r; u) o1 L3 T: `+ ?) @
三.基本遗传算法的伪代码
0 ^: E6 n  l8 _0 L7 b' B; r
[url=][/url]
基本遗传算法伪代码/*
1 Z% r% p) m% a6 g8 s* Pc：交叉发生的概率
* Pm：变异发生的概率
* M：种群规模
; ?$ F  I( ]2 m' H( ?5 o; F* G：终止进化的代数
* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
7 e7 r# e& K/ i1 y1 d*/
初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop

: \" T* s4 A: ^+ h2 jdo
{
# Y9 H% F7 y! g0 h: K$ ?　　计算种群Pop中每一个体的适应度F(i)。
　　初始化空种群newPop
. k4 ?1 X$ k# R. a0 m+ }( j3 [0 Z　　do
2 p( @& [; o4 M　　{
. s- r2 Z$ T  w% w2 Q# _) y6 b/ F- W　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
　　　　if ( random ( 0 , 1 ) < Pc )
+ r( u, x$ q2 g5 X( m  j　　　　{
2 T) l. ]$ k$ ^0 h9 ^　　　　　　对2个个体按交叉概率Pc执行交叉操作
. b. z1 Q! g  Z( M. @7 W2 o4 j　　　　}
! h& Y2 N4 G" f" [/ w& B+ M　　　　if ( random ( 0 , 1 ) < Pm )
# @* q% k( g- F　　　　{
5 A& X+ U' C5 S( @4 @. P3 d2 a( o6 P　　　　　　对2个个体按变异概率Pm执行变异操作
　　　　}
将2个新个体加入种群newPop中
6 ]: I* O7 z5 \  x( ^} until ( M个子代被创建 )
' g: ]% _4 |! t3 J: d! _用newPop取代Pop
2 h, n" k( u  [) p# r+ V& {}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )

5 z3 C6 P7 ?- o
" y. j5 {8 ~9 @9 m, g[url=][/url]


* r2 m+ N  ^  V7 j0 [! D
( P* V. f, {/ a四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

/ Q* {$ h7 T, n" n# p

图1. AForge.Genetic的类图

% }5 v/ r! ]7 W( b. n

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

[url=][/url]
+ p& @! c, a+ S6 V8 l13042312
5 b$ W0 e) o" F0 l, M5 t36391315
41772244
1 o" L9 G( o8 p- W; m9 p37121399
/ G+ Y7 l; p; V% k3 x5 s2 u34881535
  G4 Y6 Y% r0 V2 d& E33261556
  o9 c3 _$ m$ w/ y5 ]1 Z32381229
41961004
4 z1 C* b' J! g" S( S1 `$ K2 t4312790
( m* a  M- E1 ^# \" x4386570
30071970
8 E; H2 H* q9 c$ T: M  Z) s25621756
' d% ]6 @6 D# x) N8 M27881491
, Z7 t3 q; Y  e* _0 F! a23811676
8 N4 R2 k" W5 w1 \8 i1332695
9 U; f2 g! Z1 B6 |37151678
39182179
40612370
37802212
# N5 Z( ?% j" O- ]: O36762578
. v) a; W$ X9 s4 u! l$ e' H# [0 O40292838
42632931
34291908
35072367
: `' O4 [3 u2 S2 D, F33942643
3 g7 ~# }2 b" l) Q9 X34393201
4 |, U0 g" ?8 J4 B6 x4 u29353240
31403550
25452357
( o% V) H' Z& U6 v# y6 r% l& P27782826
23702975
7 j) }7 ?* f: \[url=][/url]



/ F8 e  ]5 \& Y5 a( I4 ]0 _

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

- u. B1 y% a% V) P/ j( E& G$ c[url=][/url]
- ]2 H. ]/ z, ]0 E6 q0 RTSPFitnessFunction类using System;
using AForge.Genetic;
( S, B4 U( l; A# n% o$ I& O, y# y
namespace GenticTSP
( D/ v; |7 u+ }3 |& C/ D; u{
///<summary>
/// Fitness function for TSP task (Travaling Salasman Problem)
///</summary>
publicclass TSPFitnessFunction : IFitnessFunction
{
1 a6 Q* E# |% C( ^# [5 S) v- {/ t// map
privateint[,] map =null;

// Constructor
+ Q* t, V+ F) Z  t9 y( l! Lpublic TSPFitnessFunction(int[,] map)
{
& v: Y; E* \/ x& k* A) E& I, Athis.map = map;
. }7 f! W, \9 r  Z6 Z" x( M7 q}

: P( [" J  b# i///<summary>
/// Evaluate chromosome - calculates its fitness value
///</summary>
publicdouble Evaluate(IChromosome chromosome)
2 c* ^( t+ M- O  Q4 C/ ]{
/ k0 K9 D: a/ b; ?- ~return1/ (PathLength(chromosome) +1);
+ l/ y. Q9 S9 j4 _}
1 g5 S0 p0 B- W8 f3 b
///<summary>
2 p2 E5 z7 h4 r7 }/// Translate genotype to phenotype
# W2 X  u* `8 M# ]. u2 j* S( v4 S///</summary>
publicobject Translate(IChromosome chromosome)
{
5 x% |1 p$ ?# _8 Y, f! \3 o: qreturn chromosome.ToString();
: L. a8 J8 ]8 s7 Q}

///<summary>
* K* J, G; y! G3 {* G2 Y/// Calculate path length represented by the specified chromosome
4 o7 Z9 k. O; a1 v+ i' h1 A; e///</summary>
publicdouble PathLength(IChromosome chromosome)
{
// salesman path
ushort[] path = ((PermutationChromosome)chromosome).Value;

// check path size
if (path.Length != map.GetLength(0))
{
; R) \) l" b  u3 g1 jthrownew ArgumentException("Invalid path specified - not all cities are visited");
7 v) P0 [" x3 [& P# H7 [! Z5 e}
, d# t5 I* g* q' ^6 W
1 B; ]  Z7 _. Q5 `// path length
" H) \( D+ h7 N( c4 wint prev = path[0];
# e# k4 B" g' Q: v5 Oint curr = path[path.Length -1];
4 Z# I7 ]/ ~1 `/ T# E
8 P' S) i- H2 T8 u% m% S// calculate distance between the last and the first city
, p; R( F" J4 m: Edouble dx = map[curr, 0] - map[prev, 0];
7 Q) i3 ~, ~8 L+ i3 F, ldouble dy = map[curr, 1] - map[prev, 1];
double pathLength = Math.Sqrt(dx * dx + dy * dy);

// calculate the path length from the first city to the last
for (int i =1, n = path.Length; i < n; i++)
5 E& `5 k4 {' }{
// get current city
2 V+ @8 {! M- H; l/ C) Dcurr = path;

// calculate distance
/ K3 b+ r$ E. Vdx = map[curr, 0] - map[prev, 0];
dy = map[curr, 1] - map[prev, 1];
pathLength += Math.Sqrt(dx * dx + dy * dy);
: S0 f6 S- w/ U
// put current city as previous
prev = curr;
  o1 V. p+ n% A}
/ W( @6 K8 j, r+ [
return pathLength;
- J0 D9 Q2 ?% a# U/ q& a: `' M- w}
9 T" R  ~' n, q9 ?$ q. {# ?% `- {}
3 L0 y+ D/ {! q' p2 X}


0 R4 p' b& i# E, c+ o' r[url=][/url]

3 u0 u4 a6 D* A# I( u  h" R& d' W
  A! e8 T3 d2 g; y0 I8 j
5 m# o! U) E3 E# ~' o- L, y

   (5) 添加GenticTSP.cs，加入如下代码：

[url=][/url]
4 \% y) @9 t# M. EGenticTSP类using System;
# M! l4 P9 ~( iusing System.Collections.Generic;
; W0 y8 K9 h! @9 F- \* D* zusing System.Linq;
using System.Text;
) j4 c' H, H/ B" I1 ?using System.IO;
9 |! _6 E3 E& K* G$ v' P
8 Q- p7 S1 L  |# X2 a& _" y8 ?using AForge;
8 a! O; l) @% o, A2 j. H  M9 eusing AForge.Genetic;
9 Z1 A. |* ?2 }
' w( a' g& v5 J( i$ ?" W
namespace GenticTSP
5 P; G$ z7 C5 X{
class GenticTSP
{

1 h4 y: ?$ f; k/ z" J$ }4 y+ ?staticvoid Main()
4 O3 R5 @; c$ n& E) ]) ?  Q{
8 V) ~4 E( d4 a, m4 R  o1 ~StreamReader reader =new StreamReader("Data.txt");
9 ?1 k7 r0 c  e' d2 g# d  Q
int citiesCount =31; //城市数
+ p  o2 N' w9 o; z4 X1 T
int[,] map =newint[citiesCount, 2];

; W" Y, P# \! t; ^- w+ ofor (int i =0; i < citiesCount; i++)
- O7 \' L/ d5 y4 e% k{
1 o0 Z! I8 z) qstring value = reader.ReadLine();
5 Q8 l9 Q9 y# o& T$ F: [string[] temp = value.Split('');
, O/ t: u5 C! S: }+ m1 emap[i, 0] =int.Parse(temp[0]); //读取城市坐标
; x3 ^' u" t' O1 Bmap[i, 1] =int.Parse(temp[1]);
  a- |6 r3 F; k2 A}
9 I- m4 _6 i) w8 H
// create fitness function
' P# v1 l: F9 W/ e/ K: C$ v- gTSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);

" y! N4 e! m# j% c( Lint populationSize = 1000; //种群最大规模
  z2 c0 t2 g8 ~
/*
* 0：EliteSelection算法
7 v4 K3 G$ _2 V3 v$ p% o7 Z* 1：RankSelection算法
* 其他：RouletteWheelSelection 算法
* */
) K( r8 a( o0 K7 n% C! M: i8 ]int selectionMethod =0;
! @0 b6 s& Y8 u3 N% b
// create population
' Q; ~8 C6 P3 a+ s# F% J6 ?Population population =new Population(populationSize,
new PermutationChromosome(citiesCount),
( ]5 {6 M4 O; o0 L0 d( `fitnessFunction,
: r2 H" B/ R4 c+ S5 Z% S(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
1 y& v/ ~# p1 Z(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
7 S9 u! L( ?- R. R( {(ISelectionMethod)new RouletteWheelSelection()
, N( |. Q% k1 W  d$ p+ ^" b);
) I+ _( E/ L& F( Q2 ^
- Q, [! A* q5 G) s( A// iterations
int iter =1;
int iterations =5000; //迭代最大周期

# N, U6 t. _/ ?+ x" {. m  }- c4 u% U// loop
while (iter < iterations)
! }% Z0 a! X" \6 @& \{
$ i4 j+ @" {* Z0 V  @' b// run one epoch of genetic algorithm
2 {" z$ s7 A) S% _population.RunEpoch();
9 g( T) L* t$ _2 U( Y3 e
- N4 P1 n& S8 M' H// increase current iteration
iter++;
+ s$ }$ a' J3 L% i0 e3 L" {}
" k5 v1 c3 b3 u" C! a
System.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
System.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
System.Console.Read();
! H" R& C4 Z7 k3 C5 S
}
}
  v5 E; m, A, X$ H( s}
1 f' J: g, Q; s5 e
1 `) Z, M$ x! l2 s+ s2 m
[url=][/url]
. W0 w4 h% M' v* `3 R% A- J4 _

$ T1 V8 |6 E3 A5 y2 U4 Y; S

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

5 d( ]3 J+ |& C5 b! {

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

9 v( N- h& X/ g5 F4 C! o

) a7 b2 ~; C5 ^