【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏
0 F4 h- `+ A4 V, ~, X9 s: a

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

. v4 l$ `9 H! Z, c$ A
, J- S: a+ U1 y& h( ?一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

) O. V8 Q: T, e6 K二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

5 K0 `  W) O% u- v/ D1 ]7 c

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

5 \1 ~6 v9 M. M& ]7 j

　　遗传算法有3个最基本的操作：选择，交叉，变异。

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

[url=][/url]
% o- p7 X, G9 P轮盘赌算法/*
+ [0 t7 R# e5 @, o) B* 按设定的概率，随机选中一个个体
* P表示第i个个体被选中的概率
: D/ N0 L; Z- _" h" }& ?4 U*/
; H/ j) K. q. W# T3 q/ C0 Hint RWS()
{
m =0;
r =Random(0,1); //r为0至1的随机数
for(i=1;i<=N; i++)
1 {2 ?- v0 e4 f{
/* 产生的随机数在m~m+P间则认为选中了i
( v# I5 h% b- H# B* 因此i被选中的概率是P
*/
m = m + P;
3 D; @+ k7 T6 E9 y5 |, X( Hif(r<=m) return i;
}
}
2 R# r( R2 Z( i" Q$ X
[url=][/url]

! F6 m* F* D1 |. X6 p9 p0 ^  F

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

2 |( M8 M- z; B- K) O, g$ T

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

6 x* S* w+ L4 u/ X* t3 I' {) L
三.基本遗传算法的伪代码
9 }/ G+ p; A6 A+ e1 k" o, U& M
+ W' _1 B7 }& y6 `) E& Y; E2 |[url=][/url]
1 v# B/ U8 {" \/ J9 p  J基本遗传算法伪代码/*
. t0 o  {) n8 @0 h* Pc：交叉发生的概率
* Pm：变异发生的概率
$ G4 _. `. Q. R* M：种群规模
* G：终止进化的代数
* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
*/
& x% g. [: P1 M4 u7 v初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop

/ x8 ]! P9 @0 V& c7 {0 Qdo
" C5 Y7 q' r4 s* u6 h{
7 \; r& ^( p# s7 ?* \/ z9 {　　计算种群Pop中每一个体的适应度F(i)。
5 A0 `( J. Z% R　　初始化空种群newPop
3 X# k3 i; H! G/ ~0 Q　　do
　　{
* ?- Q3 M* f; C　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
- J! `/ ]2 U$ o" [! h+ \　　　　if ( random ( 0 , 1 ) < Pc )
# l( a6 l% w) {. z, J  z　　　　{
　　　　　　对2个个体按交叉概率Pc执行交叉操作
　　　　}
% L9 V5 n3 O% o4 A! [$ c/ ]4 ^　　　　if ( random ( 0 , 1 ) < Pm )
　　　　{
5 m7 h5 i" Y& l0 w- K' D　　　　　　对2个个体按变异概率Pm执行变异操作
　　　　}
将2个新个体加入种群newPop中
! u. k/ I) [0 {} until ( M个子代被创建 )
( C2 A6 S# p/ Y% u用newPop取代Pop
}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )


/ G& ]# m" @* t  M[url=][/url]
) e; G0 V1 Y: b) w+ A3 l+ z
/ z' t. @' G8 c* d- W" j
) P  x+ s: a9 U  Q( E
四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

0 e- J1 b  l# n* ?1 G4 t1 E. s

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

2 d1 b) c: T* N" Z( z

图1. AForge.Genetic的类图

) {, \( V" `# i8 l4 a

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

[url=][/url]
13042312
36391315
41772244
37121399
9 t3 y3 d* m3 w5 a  t34881535
33261556
32381229
  |1 v2 \9 z8 n( ~- S; @41961004
4312790
. [: _3 J" l; Y* q3 g1 Z7 \4386570
( f. O: {2 ?9 M3 V3 g( w30071970
# g7 z! o4 A; @5 V! ~25621756
( k+ f+ ?4 Y/ E  r27881491
23811676
1332695
2 H$ U5 T- }) r7 S37151678
39182179
40612370
+ _0 T$ W7 o* B37802212
36762578
40292838
42632931
) X8 ^. S) \1 d: ?. c34291908
35072367
33942643
34393201
, F2 q" Y  m1 _8 I: l29353240
( |; Y9 x7 W! }& v% K7 q0 I1 _31403550
25452357
27782826
5 ?- V6 n5 }) v# v3 C23702975
[url=][/url]
$ J, S# X$ \/ C) ?( |
! k: i7 F- q2 S9 W/ H

# s# {5 |: P* a3 x: t0 U
- O7 S8 q0 M2 G( {) ]! R

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

# G  x) E% P, Q# q( w$ _[url=][/url]
TSPFitnessFunction类using System;
using AForge.Genetic;
7 D% z# T8 w2 M! f
namespace GenticTSP
8 I2 l  a3 H" C9 ]{
" z0 f: p  M% G. e9 w& f' x7 a/ ]///<summary>
/// Fitness function for TSP task (Travaling Salasman Problem)
/ \7 x1 u: r. C% Q2 i///</summary>
# b- O& }; h9 t( _; H, q( ~( p: A8 Rpublicclass TSPFitnessFunction : IFitnessFunction
  B5 C0 m4 t0 U! E- B; F/ J' J{
// map
  Y2 r7 F% @2 p+ B5 D  L3 Yprivateint[,] map =null;
5 \$ R+ u$ M. i$ q
// Constructor
public TSPFitnessFunction(int[,] map)
5 p) c6 N+ c4 |; v: O1 i{
8 e5 R/ z+ j' L. t) \: _2 Rthis.map = map;
}
% ]/ S# O* m" z0 O/ o3 n/ D0 ?
///<summary>
1 Y4 P  S4 _: A+ N. S% I* \/// Evaluate chromosome - calculates its fitness value
///</summary>
3 l; G% u$ H$ U$ v* Gpublicdouble Evaluate(IChromosome chromosome)
{
return1/ (PathLength(chromosome) +1);
}

///<summary>
/// Translate genotype to phenotype
1 \& l$ ?( U( k, \///</summary>
# n( }* Q5 H+ spublicobject Translate(IChromosome chromosome)
{
return chromosome.ToString();
' [) J% @' |, {}
. h5 g$ _3 l$ s- y
- w2 Y: S- W: T" ~* L///<summary>
/// Calculate path length represented by the specified chromosome
- k" C- K% r- F4 J/ n# A, q///</summary>
publicdouble PathLength(IChromosome chromosome)
  I- w0 x8 c% f# {7 G" u3 N{
9 Y6 R% H1 @" _; H2 {// salesman path
1 F# b! x% k# F6 Q  g% Kushort[] path = ((PermutationChromosome)chromosome).Value;
- x' W! U- ?7 Z, q
  W/ C* L" n7 s0 i% Q! H// check path size
if (path.Length != map.GetLength(0))
6 E8 v& n5 E& x( G' [& ?8 e{
thrownew ArgumentException("Invalid path specified - not all cities are visited");
" q0 v  m3 t8 E& ]; L9 v  p2 t}
) q3 a8 C0 z8 J$ T) S7 a
// path length
int prev = path[0];
int curr = path[path.Length -1];

// calculate distance between the last and the first city
$ M* G0 b. E/ X4 Edouble dx = map[curr, 0] - map[prev, 0];
/ U, [" L" E$ [) o5 wdouble dy = map[curr, 1] - map[prev, 1];
double pathLength = Math.Sqrt(dx * dx + dy * dy);
) R4 ]: ]- G# R, n5 A) l; N0 r( j
3 v" @5 ~) @; m6 y" C* X// calculate the path length from the first city to the last
+ C1 J0 L# e4 ]% ]8 {9 Sfor (int i =1, n = path.Length; i < n; i++)
{
// get current city
curr = path;
0 l) k! q- _; x; c( j
5 \: J. {) Y  Z- C. h$ I7 q// calculate distance
# i. `0 o0 k! k3 g5 e& z5 e. }dx = map[curr, 0] - map[prev, 0];
dy = map[curr, 1] - map[prev, 1];
pathLength += Math.Sqrt(dx * dx + dy * dy);

; Y- i+ K# @6 L: E6 q  R// put current city as previous
prev = curr;
}
! b  ?6 h, u1 G. g2 \( C/ g
return pathLength;
}
}
}
% y- _1 L! R3 D+ h, H

[url=][/url]

! s9 R- i; F8 l, j* f( z, Y

   (5) 添加GenticTSP.cs，加入如下代码：

' c/ g, `% h8 G, ~( v& R[url=][/url]
GenticTSP类using System;
4 p" P8 E6 }; G7 Iusing System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;

using AForge;
- w0 v  l2 x. H: Y4 ousing AForge.Genetic;


5 a4 O. Y7 Q1 u2 i. Pnamespace GenticTSP
1 o! \4 p+ t5 E' [4 z6 p* h{
; m+ B+ \; K0 a) o# j# @: ~; mclass GenticTSP
+ ?  t/ g6 h$ q1 C) y4 v5 q{

staticvoid Main()
  \4 u, t) ]8 J$ X{
9 _# [6 S1 I& FStreamReader reader =new StreamReader("Data.txt");

int citiesCount =31; //城市数

8 f4 @6 \2 g0 Y$ w; A& q$ gint[,] map =newint[citiesCount, 2];

: |2 x) d! ~, P5 ffor (int i =0; i < citiesCount; i++)
9 v7 C! n6 k3 d8 D{
string value = reader.ReadLine();
/ }" m. L' B' G& }7 @* Istring[] temp = value.Split('');
map[i, 0] =int.Parse(temp[0]); //读取城市坐标
* m7 L8 |, i" @) r+ e4 Lmap[i, 1] =int.Parse(temp[1]);
}
8 b) X9 T* n. I  n$ N+ Z
% s9 _- K3 P8 W" R% _// create fitness function
6 n# S4 d, Z* `  C3 ^9 dTSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);
  C* P' O% ], U" L
4 H- Q  l  ^& Oint populationSize = 1000; //种群最大规模

/*
* 0：EliteSelection算法
* 1：RankSelection算法
4 c& d2 s" U5 B% p; O" r5 r* 其他：RouletteWheelSelection 算法
: m; c+ f) e1 P6 B* */
int selectionMethod =0;

// create population
Population population =new Population(populationSize,
new PermutationChromosome(citiesCount),
: z' K$ r- Q5 p* X$ }2 YfitnessFunction,
(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
(ISelectionMethod)new RouletteWheelSelection()
);

// iterations
int iter =1;
; [7 j5 Q5 v) G5 k- y* R$ Jint iterations =5000; //迭代最大周期

6 Q* L6 y' p  {# C// loop
; f1 F5 a+ ~7 d" Owhile (iter < iterations)
{
// run one epoch of genetic algorithm
population.RunEpoch();

// increase current iteration
" o, b6 ~9 k$ w2 [$ C4 `7 ziter++;
) M6 E) x# _: _' K; J& s  H}
2 e! O1 t. [* o# @
System.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
( Q/ z4 r: r/ j7 @+ ]1 o( B" b, C% KSystem.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
  w0 Q5 r! ]% q% H! SSystem.Console.Read();

}
5 P, |4 E( s8 |  L7 [2 V* ^+ U+ R}
}
5 h8 i9 ~" Z) a' Z2 ~" g5 _

[url=][/url]
+ p  h8 n, @# y: a
+ }) t: s& ]) m) D* O1 I
" i6 ?: u9 M; u, |( m
4 u! z) |( ]% x4 M. T
1 f% y7 N0 @( X0 c" G' m' t; Z

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

+ N& L4 `5 H! w, F7 z& f' O