【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏
3 N+ i0 Z. H$ s

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

: w& C& \' Q0 R  e( Z
一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

9 |2 x$ x7 A7 F

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

" ^7 R/ I+ n& R) t" e# F
2 _3 v. P, \# q: O/ J二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

6 o: G3 w" s) Q( B" m% m' L) y

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

8 w" C7 B! _4 h" j

　　遗传算法有3个最基本的操作：选择，交叉，变异。

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

3 s2 d/ r' }  f% G% f* X[url=][/url]
轮盘赌算法/*
, z0 Y. D2 O3 d* 按设定的概率，随机选中一个个体
* P表示第i个个体被选中的概率
*/
9 b' M$ G4 n2 i9 C! j& g' K; @1 Cint RWS()
{
8 `* m( c2 l4 \" ^/ D' }+ K) om =0;
r =Random(0,1); //r为0至1的随机数
7 B1 i( O; M. n" i, _for(i=1;i<=N; i++)
{
3 y8 d* Z- m; E1 k/* 产生的随机数在m~m+P间则认为选中了i
* 因此i被选中的概率是P
*/
* l' Q: L- n! P: J& k2 @m = m + P;
if(r<=m) return i;
}
}
, H8 L* P- G  m. }
& L- U+ Q; z8 F  w. a[url=][/url]

  `/ |) _* q$ @( B5 u6 d9 w+ F% H; |
1 w. o3 W# U5 b* z3 e

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

, F& y) R! Z  v6 G* W
三.基本遗传算法的伪代码

[url=][/url]
+ z) j- ~4 a% p7 [# i基本遗传算法伪代码/*
9 v5 R  t4 P8 k0 N  \. \6 l: U* Pc：交叉发生的概率
9 Z8 L* g6 P) F+ \& G* Pm：变异发生的概率
3 X; e4 [( }* Q' P$ l8 a* M：种群规模
/ l# u. _' T: m9 ~1 F) k4 \* G：终止进化的代数
* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
*/
初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop

6 F# Z9 n) U. j% f, i/ b5 t8 Sdo
- w/ u/ G1 w- n& R4 K# g, a{
　　计算种群Pop中每一个体的适应度F(i)。
　　初始化空种群newPop
　　do
　　{
. l4 s  P: t( v" E0 v7 M　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
- t% K5 F& e2 P# R　　　　if ( random ( 0 , 1 ) < Pc )
8 o$ b0 k' G; ~# D" q　　　　{
0 V, m. D) q9 k2 k' I: T1 b　　　　　　对2个个体按交叉概率Pc执行交叉操作
　　　　}
! ~) h, s" v% i/ v" d　　　　if ( random ( 0 , 1 ) < Pm )
　　　　{
　　　　　　对2个个体按变异概率Pm执行变异操作
6 A' c" e3 N2 o" ~1 W　　　　}
将2个新个体加入种群newPop中
: g9 g: P7 h. G( `% c$ l} until ( M个子代被创建 )
用newPop取代Pop
, O5 D8 _; U0 B7 d7 w; o" }}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )

% Y3 n" z8 o" t3 R( @; D
[url=][/url]



: p8 X# \" c9 N四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

# j' k! C0 K7 |

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

& I4 e3 ]0 Y* f+ P3 K* z

图1. AForge.Genetic的类图

7 A8 Z; c0 Q; Q- Y6 ]) D

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

' W" _/ ~& j9 p[url=][/url]
13042312
36391315
41772244
37121399
$ N8 k1 _6 k! m) p7 p34881535
33261556
32381229
3 C/ [' B# s# C+ e- A1 B41961004
+ L) S. {6 E' l6 d3 n- b4312790
! n  ?  x  h7 {0 q- f+ l4386570
30071970
25621756
27881491
% e! v7 J- R# p& K# k6 E23811676
1332695
2 L8 t$ G3 e6 }, B5 }# K37151678
4 v3 G7 l9 L) ~39182179
40612370
; C, D0 e3 Z  {6 F6 l0 Y37802212
8 c$ l. R; j; l5 f+ B7 l0 y36762578
2 t0 o' e5 @7 O6 O) s! q( ?' s40292838
. j7 X% A) z& i% h4 _- M42632931
7 U! d! X: p1 o9 S34291908
' v7 g3 M  V% T' ?6 u# m( r2 s35072367
) }9 x) g0 C3 \( K; @33942643
34393201
29353240
  ^& d7 h9 l% E9 @' b) w4 ]$ Q2 u31403550
- R4 x! y2 ~3 x: h3 {/ m! X6 l0 `% |25452357
27782826
23702975
, z0 _) w. Y9 D9 w$ w( I7 w/ O6 `; n[url=][/url]


% U. c. Z6 p6 s0 K- J% l& e- X
6 i$ g* X" O( `# v9 @

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

[url=][/url]
TSPFitnessFunction类using System;
using AForge.Genetic;

6 M4 N! ]$ f( _: f2 snamespace GenticTSP
& f# E. ?' }. K$ ~/ G{
///<summary>
/// Fitness function for TSP task (Travaling Salasman Problem)
# ]5 P$ j# O) m5 t///</summary>
* `9 Z' j$ L5 T7 vpublicclass TSPFitnessFunction : IFitnessFunction
{
, E* o$ l  c: p4 \// map
# C. X  ?% L- _/ F: o3 Y7 Yprivateint[,] map =null;
0 A" G5 \0 `1 e# v/ f
" A$ n. s" E1 {+ X" Q3 Q; M// Constructor
public TSPFitnessFunction(int[,] map)
4 r8 j. D$ X0 M$ W: L8 J: E) h{
8 S+ K! P. }, @* ~+ k2 fthis.map = map;
}
3 U* b! Z% I% F& \( n" W5 o
///<summary>
/// Evaluate chromosome - calculates its fitness value
///</summary>
publicdouble Evaluate(IChromosome chromosome)
. o7 P4 Q# K8 V! \5 {3 O7 v{
return1/ (PathLength(chromosome) +1);
}
- W$ X* Y$ E  T- r/ k* B
4 ~( K  ~. y( H6 a9 J///<summary>
/// Translate genotype to phenotype
. S! s) W& b, L+ W! ^///</summary>
2 v+ v3 r" k4 }+ x; \( wpublicobject Translate(IChromosome chromosome)
* }: \7 f3 }( ?* t2 A; ]+ E{
return chromosome.ToString();
6 l/ w1 a( z. E9 R& u}

/ H! `1 v2 i( k% r, Z& J///<summary>
0 @) |' w/ [  K9 D; Z$ h0 e/// Calculate path length represented by the specified chromosome
///</summary>
+ x- S  }8 {/ ~5 v0 Cpublicdouble PathLength(IChromosome chromosome)
{
% \9 S! C! y8 D  m0 b8 e// salesman path
2 R3 O1 k8 {: Zushort[] path = ((PermutationChromosome)chromosome).Value;

7 i! U! w! T5 z& e6 v// check path size
if (path.Length != map.GetLength(0))
1 J) n6 m3 u- ~{
thrownew ArgumentException("Invalid path specified - not all cities are visited");
}
+ n5 l/ \( N# J: j4 _/ f
// path length
- b4 I" J' B% J7 x7 Gint prev = path[0];
int curr = path[path.Length -1];
, Y/ ^) \/ i$ H  K. S: S9 K, x% V
// calculate distance between the last and the first city
6 c# N/ s7 Y8 @" Q% u( `$ j6 C% t) |# rdouble dx = map[curr, 0] - map[prev, 0];
double dy = map[curr, 1] - map[prev, 1];
% ?+ S7 g0 A0 ^! G% v( h1 rdouble pathLength = Math.Sqrt(dx * dx + dy * dy);

// calculate the path length from the first city to the last
for (int i =1, n = path.Length; i < n; i++)
3 }/ V; y' }! c2 L% g2 g& M! C{
: z# U7 t7 [+ d2 |4 W6 d) W// get current city
% }3 J3 a, v' F9 U9 O; acurr = path;

// calculate distance
dx = map[curr, 0] - map[prev, 0];
; _/ x" k. t7 c( I0 S" Gdy = map[curr, 1] - map[prev, 1];
pathLength += Math.Sqrt(dx * dx + dy * dy);
( Y2 V- f( B8 q$ r
- N- ]& j% h, d5 [% i$ s// put current city as previous
2 M) o5 G- {0 i# |3 X% qprev = curr;
}
0 _' K, q' }4 }! v4 U  R$ S) O
return pathLength;
}
}
$ p% s2 F0 W4 U6 k}


[url=][/url]
6 i$ {, ?  Y' S# l! I4 h* |


) X: ^$ [& A6 I

   (5) 添加GenticTSP.cs，加入如下代码：

& S5 V6 s* l. u' u5 c[url=][/url]
GenticTSP类using System;
* Q2 b# y1 Q: V$ e, U$ g  Husing System.Collections.Generic;
using System.Linq;
using System.Text;
' p& h, K1 b1 L, busing System.IO;

using AForge;
- U  {# n, Z+ x) f0 p. \, Gusing AForge.Genetic;

2 V: x. }! {" M5 l  |
namespace GenticTSP
{
class GenticTSP
( B& T2 H4 L& p% p) N{
7 `# S( K) _% T; s8 A4 U
! t5 w; Y4 W; j% M6 R* v& r% [2 qstaticvoid Main()
{
4 f5 R/ s0 T# X- XStreamReader reader =new StreamReader("Data.txt");

( z# ~# s& g& s0 q* d5 V8 Dint citiesCount =31; //城市数

int[,] map =newint[citiesCount, 2];

for (int i =0; i < citiesCount; i++)
; T8 |3 I0 d3 A! D; V+ Y0 A{
string value = reader.ReadLine();
/ L% F1 O0 s( |, C9 b. _8 v. \& Ostring[] temp = value.Split('');
; r  T( \8 u- R9 ymap[i, 0] =int.Parse(temp[0]); //读取城市坐标
map[i, 1] =int.Parse(temp[1]);
, q, d9 H0 y) w7 a- q}

  g, s2 q6 r. e  T( C4 |2 G7 o// create fitness function
TSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);

int populationSize = 1000; //种群最大规模

/*
7 w' O0 Q, B0 u# {5 A* 0：EliteSelection算法
* b: v2 m4 w* L& y/ O; u  l* 1：RankSelection算法
* 其他：RouletteWheelSelection 算法
4 d1 |1 c1 Q9 M9 a* */
int selectionMethod =0;
5 s+ f- e3 ]7 w- J0 ^
: y( _4 j. s8 b* A( k; c% L// create population
- h/ V8 l* q8 w! r7 G" NPopulation population =new Population(populationSize,
new PermutationChromosome(citiesCount),
: u% f6 r# ]* v' x5 x8 SfitnessFunction,
5 P4 }7 y( n- v/ Q4 x# C(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
(ISelectionMethod)new RouletteWheelSelection()
);

// iterations
int iter =1;
2 {. r- a; X  d: _! pint iterations =5000; //迭代最大周期

1 x2 N" c/ E- ?! _/ ~// loop
/ o8 A) c* [9 l8 K) h3 awhile (iter < iterations)
{
! Q: }6 d3 |0 n9 |// run one epoch of genetic algorithm
population.RunEpoch();

- Y5 m: U0 ~! z5 G// increase current iteration
+ {0 r9 T# K0 Niter++;
}

+ N& W* \# k, }) V9 d, K9 KSystem.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
! O8 h/ Q& m! B1 O8 lSystem.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
System.Console.Read();
. J& W8 V* K: d" u; B- @" L9 Z
}
}
6 w+ Q* {; [- C1 d' `}

9 D( d5 I4 c+ J" a' X6 K
" `- P: B7 Q$ @4 l[url=][/url]

% O  N9 Y$ y) q
9 M8 w& C4 m+ p# C

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

9 B# u. e: y# c1 {( N

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

8 k2 c1 |7 ?9 J: E: |- Y; X+ }