【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏
' A) B7 J# E9 g& v& A4 _- H

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

$ p& _0 ^* o8 V  j. \一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

5 e( d1 J) h9 X6 H) O

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

　　遗传算法有3个最基本的操作：选择，交叉，变异。

2 M5 M* J, C: o4 t5 s' I

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

[url=][/url]
4 P/ D7 j& G( D. c# W轮盘赌算法/*
* 按设定的概率，随机选中一个个体
* P表示第i个个体被选中的概率
*/
int RWS()
{
2 S  N5 k1 i* B' F* b5 M0 u8 [m =0;
" l1 L! b$ N# E. Z" c3 _r =Random(0,1); //r为0至1的随机数
for(i=1;i<=N; i++)
& i! D! D# m6 q; X/ f{
/* 产生的随机数在m~m+P间则认为选中了i
) _8 i1 W, t2 V( J) q* 因此i被选中的概率是P
*/
8 H, j6 u! r' c) W5 wm = m + P;
if(r<=m) return i;
}
& ?( Z# T4 C1 {! k, k}
! I& H' G& N7 Z$ O
[url=][/url]
' B1 Z) g( Y" L0 F+ A& o

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

7 f( }! P7 m& A/ R9 g6 f( t9 X

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

  I) d9 p1 C( S; j/ _" W三.基本遗传算法的伪代码

[url=][/url]
基本遗传算法伪代码/*
* Pc：交叉发生的概率
* Pm：变异发生的概率
* M：种群规模
8 T1 \4 z" O  S. u, }; o* G：终止进化的代数
7 H* Z  f$ M' K- v/ \2 ?" ^* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
*/
0 d# z; [: {) [  _9 Q初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop
3 m* m; ~3 b# v% j( R% A
do
) ]7 b. r8 r1 ~1 z( d3 E( F* o{
　　计算种群Pop中每一个体的适应度F(i)。
　　初始化空种群newPop
8 {* F: b: v/ {2 @7 o8 m　　do
& J* I' ~0 \1 p8 M# \　　{
( e- `9 y' M9 b! b% M% s- ]　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
　　　　if ( random ( 0 , 1 ) < Pc )
3 F: a- B$ c# k8 \$ b　　　　{
　　　　　　对2个个体按交叉概率Pc执行交叉操作
　　　　}
　　　　if ( random ( 0 , 1 ) < Pm )
. l7 L# x$ t9 U  @9 C1 O6 ]8 S　　　　{
　　　　　　对2个个体按变异概率Pm执行变异操作
5 v6 {3 y) r0 ]0 r) h( }. T; j　　　　}
: [& L5 m; ]& J$ T+ w+ Z将2个新个体加入种群newPop中
} until ( M个子代被创建 )
用newPop取代Pop
}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )

4 h  @* q" t( Z. r3 S) f4 P
[url=][/url]
2 U- x) l/ A$ G' e& d

; |( L5 b  f4 ~) _$ |  A0 e0 t  I
8 v! I2 |6 l8 q# d9 U& J3 S2 a/ |四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

& \5 ?8 p1 y# A. y$ E3 E

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

8 C2 I9 E% J% h' ^

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

  I+ N; M+ ~) b

图1. AForge.Genetic的类图

4 a9 U4 v& |: ?- D' Y% m- N1 l* T' C

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

  `6 a- U) a5 I, M' w[url=][/url]
7 V, I$ s& l& i) g: b13042312
36391315
2 Q0 v/ e2 Z- `41772244
37121399
34881535
3 O6 C! ^3 D8 L# J+ T1 g; G1 O33261556
- W1 ?+ N6 o( n* v% x32381229
41961004
4312790
4386570
  o6 V) _6 r& {& t9 D4 k9 J0 C/ |( E30071970
25621756
( T3 {* P5 I" ^! @$ k27881491
23811676
* [8 {" f+ B7 I$ @! D3 u4 I9 k1332695
37151678
39182179
0 B  K& Z) X( y8 I40612370
37802212
( t3 C# a$ ^  Z) s% r36762578
% ]% _" q/ O- [5 R/ n- n/ _2 d% m4 e  y' `40292838
42632931
34291908
35072367
33942643
9 G4 r6 ^7 T/ z+ w- G$ Z7 Z' `34393201
1 }: D2 l9 ]5 e29353240
31403550
25452357
27782826
23702975
- B! p1 \- g3 Z! t3 S  I1 Z[url=][/url]

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

/ k6 H. q( ^4 C# a7 p[url=][/url]
2 {9 R) k. x( {' E/ C0 w/ eTSPFitnessFunction类using System;
using AForge.Genetic;

4 a1 @& k$ t9 z9 w" V1 Cnamespace GenticTSP
, }/ M" A% W: R/ F. k+ O/ p{
, J% ~( l5 A6 P/ Z  _! a///<summary>
/// Fitness function for TSP task (Travaling Salasman Problem)
///</summary>
publicclass TSPFitnessFunction : IFitnessFunction
# D! }& f  M( k0 s{
// map
: e( x& o. U: {; W+ c$ i1 Pprivateint[,] map =null;
. ?8 r0 Z( |2 O7 m& q
// Constructor
public TSPFitnessFunction(int[,] map)
{
/ }9 u. D! g' I( y2 C3 B  ^3 ]this.map = map;
/ k% C2 q2 |% n7 s% |' `}

( g5 k0 k  i: f7 M! ?///<summary>
. m0 V0 j/ I, f1 S. X8 W( Y/// Evaluate chromosome - calculates its fitness value
$ S% H4 B* c/ ~3 p$ Y///</summary>
4 g  g1 i7 z, e) s% P# D- @6 Kpublicdouble Evaluate(IChromosome chromosome)
0 \3 z) K4 Q4 n* D$ k  `{
return1/ (PathLength(chromosome) +1);
& R% `5 Z. V9 Y& Y# f5 M/ J; x. r}
3 |7 e& O! O9 L" o
4 _8 q8 [1 T+ U, {" y///<summary>
- p! k/ H1 ^/ e) x/// Translate genotype to phenotype
6 W% ^; t, t) o( W: K- ]+ z/ K///</summary>
publicobject Translate(IChromosome chromosome)
{
8 m) h7 Z2 l, X! Q2 Freturn chromosome.ToString();
}

6 ~: S4 Z4 s# P& i. K6 `///<summary>
/// Calculate path length represented by the specified chromosome
% m& u& s4 y8 f0 J# Z  Z- E* i# h$ q///</summary>
) q  w$ z4 l0 C: E; Bpublicdouble PathLength(IChromosome chromosome)
{
// salesman path
ushort[] path = ((PermutationChromosome)chromosome).Value;

) X# h8 D3 _8 l& }7 Z; i# u// check path size
if (path.Length != map.GetLength(0))
4 @# C# B2 }5 ~: b6 a{
thrownew ArgumentException("Invalid path specified - not all cities are visited");
" y& n; ?  @1 l1 [% O}

  Y( l$ ~/ \4 e% z+ N1 M9 z% x6 @" E// path length
$ A- O9 Z, J* ?' ?8 y; aint prev = path[0];
int curr = path[path.Length -1];

// calculate distance between the last and the first city
double dx = map[curr, 0] - map[prev, 0];
double dy = map[curr, 1] - map[prev, 1];
- z) k" `' S- c1 z  pdouble pathLength = Math.Sqrt(dx * dx + dy * dy);

" W  s4 z, p1 Y$ W+ J// calculate the path length from the first city to the last
for (int i =1, n = path.Length; i < n; i++)
1 U- _, W2 ?8 z3 f{
5 }6 m( U- K: j% L) b8 E// get current city
: X, G3 G4 [0 c: G( F+ I! s/ r# Kcurr = path;

// calculate distance
% Q5 k6 p4 H  C. p1 q6 O* Odx = map[curr, 0] - map[prev, 0];
) e: F, f5 h5 `dy = map[curr, 1] - map[prev, 1];
' D# K7 N2 |' r0 Z7 HpathLength += Math.Sqrt(dx * dx + dy * dy);

// put current city as previous
prev = curr;
}
0 q: R1 k- X& c) Y) ]- F
) q5 O7 M  |, @9 q3 E  y" h  Sreturn pathLength;
}
6 X; M7 ]- M) F* A6 H4 g}
4 F$ @4 |2 ?# u}


6 J& z5 _) c$ K[url=][/url]



* z+ Q% {3 Y, \' U, M0 b

   (5) 添加GenticTSP.cs，加入如下代码：

. Y# q+ H/ M" [4 E) [+ ^[url=][/url]
, f7 E7 f' |6 M  o% {GenticTSP类using System;
using System.Collections.Generic;
( o% o9 i; o/ z9 m: I. fusing System.Linq;
5 B' o. b7 \8 {% T. A: m' Zusing System.Text;
using System.IO;

using AForge;
9 }" T/ _& D6 n, e( busing AForge.Genetic;

. h; @7 ?0 J$ s2 C+ O( ]* d
: T8 v- o7 a+ q+ b9 N1 Rnamespace GenticTSP
{
class GenticTSP
{
* D6 E8 C5 B8 ]9 m
, e3 K) |+ A3 [! S/ [8 |staticvoid Main()
{
% F1 ?3 I2 U) s9 B: J, P8 YStreamReader reader =new StreamReader("Data.txt");

int citiesCount =31; //城市数
( c, ]* Z* a4 C) R! s; k" V: V
8 `5 q  y  y! u+ `1 B8 }# @2 m. M  lint[,] map =newint[citiesCount, 2];
  l0 G: u1 a- k) g- S/ D& h
for (int i =0; i < citiesCount; i++)
; v; ?6 B9 e- p4 G2 H{
" ^9 z1 V. [$ a5 Tstring value = reader.ReadLine();
string[] temp = value.Split('');
6 _/ Y& Y) b& s& E. d0 }% Rmap[i, 0] =int.Parse(temp[0]); //读取城市坐标
map[i, 1] =int.Parse(temp[1]);
% p# ?7 \+ o3 E, j}

7 s" W  S# P: I// create fitness function
TSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);

. k+ t# W! r8 Q. kint populationSize = 1000; //种群最大规模
7 e0 G: n8 A+ T8 H$ j/ H! U
/*
7 i9 G- S9 Z" Q7 t& A2 x* 0：EliteSelection算法
. w% O6 R) H* Y* 1：RankSelection算法
* 其他：RouletteWheelSelection 算法
* */
5 W/ n0 q; D( p9 j: b& z6 C7 p  [int selectionMethod =0;

5 n2 c3 D3 u# X  S( h% [3 H// create population
Population population =new Population(populationSize,
new PermutationChromosome(citiesCount),
* K" j1 \7 ?4 h% FfitnessFunction,
(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
  x+ @3 Q! y. D(ISelectionMethod)new RouletteWheelSelection()
);

// iterations
# O* W* H' w  V* H+ Lint iter =1;
. g+ C( T# r+ n, i+ {5 jint iterations =5000; //迭代最大周期
! }# U1 k5 y9 a( {
// loop
while (iter < iterations)
{
// run one epoch of genetic algorithm
population.RunEpoch();

+ [2 t! P4 ?- D1 \- f// increase current iteration
! v( ?% x6 R: R. eiter++;
}
. `1 |2 `# E; d( [) O2 p
System.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
System.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
( F: T5 @# `2 D! Q% b2 S& {4 ZSystem.Console.Read();
  a" y( v! ]7 i+ [5 l
}
& S5 x- b. \4 p( l' \}
: A+ n2 [6 r5 b& w. a}
" W5 i0 J/ U' U  ~
. r2 d( u# _$ I* J& T9 g' W
0 x% ~: O* n* G  B1 A[url=][/url]

0 V. |. D2 x9 J) r8 m+ U) c2 C
3 f0 O( K1 Y' A+ G+ `( _' ~2 N! |- o5 |
: _6 F1 A) ?" {5 G8 v; y" ?- b. _2 t

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

! q% r$ C7 _$ |  D9 U! l% W& m: K

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

! R* {, ?0 h$ g7 t# ?0 W9 o