【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏
2 |' X) q+ y6 d/ {7 E

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

5 Z( i. n. w# N0 W" y) \' x
一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

5 [' C+ K$ ?$ |, a+ L

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

$ F' M% q) k! q5 ~( d  x' ~

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

　　遗传算法有3个最基本的操作：选择，交叉，变异。

% K$ C' T1 t5 d$ ]

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

[url=][/url]
轮盘赌算法/*
3 F( ~" K$ ^& ?, z3 c% U; p7 w' |* 按设定的概率，随机选中一个个体
1 B: W8 u+ N8 t* P表示第i个个体被选中的概率
*/
int RWS()
! p3 i$ m% F  ~. N* v2 X$ C4 o{
m =0;
r =Random(0,1); //r为0至1的随机数
  U8 w3 T+ W, o% Y9 R/ H! xfor(i=1;i<=N; i++)
6 Q7 [. N/ {* _) T1 o" o6 @4 C$ l{
" N9 k% r% e/ z% T" T5 ^/* 产生的随机数在m~m+P间则认为选中了i
* 因此i被选中的概率是P
*/
: ?: l3 _/ j! e( }5 i: H5 em = m + P;
if(r<=m) return i;
}
}

[url=][/url]
. F2 [/ b" r6 e( {' U* n
7 F8 c1 D& T" f" ^

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

三.基本遗传算法的伪代码

[url=][/url]
基本遗传算法伪代码/*
* Pc：交叉发生的概率
, J. h2 L  q2 }" `, U* Pm：变异发生的概率
( B# Q$ \6 f, h* M：种群规模
* G：终止进化的代数
2 `( N+ p/ y3 H6 [! ]* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
*/
& p2 I! ]; T  w2 U初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop
0 q1 K* A. D9 r9 D, [
' [1 v/ P0 x. S5 tdo
# C: M3 P. ?# U* \( _{
　　计算种群Pop中每一个体的适应度F(i)。
( i2 h& y( ?  R0 F6 h　　初始化空种群newPop
　　do
6 W8 y" H$ ^4 e: c　　{
　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
　　　　if ( random ( 0 , 1 ) < Pc )
　　　　{
　　　　　　对2个个体按交叉概率Pc执行交叉操作
　　　　}
　　　　if ( random ( 0 , 1 ) < Pm )
　　　　{
　　　　　　对2个个体按变异概率Pm执行变异操作
8 z% n2 M) Q( m4 s' n3 B　　　　}
将2个新个体加入种群newPop中
} until ( M个子代被创建 )
用newPop取代Pop
}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )

6 f8 l. X* g1 \7 H) ^, X. `  V! }
[url=][/url]
' K, l4 u% ]" U5 P' t5 s: p
/ I  W5 V) z6 @1 O6 u

6 P# J0 I! b0 V8 |四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

, u+ \! ]6 r( _# h

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

  ^" Y# z2 }- @8 J3 p; x

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

图1. AForge.Genetic的类图

8 i% b6 O2 x) b' N" P

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

+ P6 \- m9 k+ A5 {7 F0 V4 s[url=][/url]
' v5 Z: M5 j) Q* G8 \13042312
. E5 F! ]: B* e! Z4 b36391315
41772244
6 j, b6 d0 `) q) p37121399
34881535
33261556
$ e# L  }! G$ }  L% }$ K& {& M& W1 m( m2 L32381229
1 w& _# |; G/ s+ K9 d2 n- G; w0 @41961004
4312790
, z, n9 N# m+ W) X$ Q4386570
30071970
& h% M3 e  c* G* j2 g/ v25621756
$ k: i: h0 [4 P5 c) R. {  V27881491
23811676
1332695
: `0 K0 w% n; T/ B, S37151678
39182179
40612370
9 [4 ]% x# N3 S" m+ }5 B# k! n, H37802212
% F1 B: T' q3 E; Z, l2 l- W9 Z36762578
( @3 Q- v( d% r5 D; V; b40292838
42632931
34291908
35072367
33942643
34393201
8 x% b1 W1 s' Z& c' n# a( e29353240
31403550
25452357
: c% q. s+ r0 a  j# v9 [27782826
& n# i# I0 l3 q7 e  ]' J# ]23702975
[url=][/url]

: G7 r( H+ ?$ L6 h

4 a$ W$ ?% P" i8 ^5 f! |

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

[url=][/url]
- o; N8 O( `" s" G; ~, G- }: cTSPFitnessFunction类using System;
# V) S! I3 b7 musing AForge.Genetic;

6 V$ r3 W, u) n- K! hnamespace GenticTSP
) m% T0 M( s4 t/ w; I3 n. |" A  _{
///<summary>
8 n  I$ a3 _* }. W* }; i4 x/// Fitness function for TSP task (Travaling Salasman Problem)
///</summary>
publicclass TSPFitnessFunction : IFitnessFunction
{
, r) Y7 E$ Y2 U) S' G, p  }// map
4 L; o. D, K6 |) [% _privateint[,] map =null;
8 ^1 G. @3 c. w9 V6 S! b
9 N* F9 F: n$ p; W/ K- J// Constructor
. b6 }* }; p9 \3 K' N( Q- L  Vpublic TSPFitnessFunction(int[,] map)
# c. u6 j! r3 F: D1 M7 Q9 f{
" U1 E" A: y9 H( l( ^# x  Uthis.map = map;
}
1 c2 ]2 `( D. m8 }/ q
7 m" V( m# q4 S2 Z% I///<summary>
8 P, d! s6 X5 f! ~% E3 j/// Evaluate chromosome - calculates its fitness value
7 z4 N. y6 m: G3 L///</summary>
publicdouble Evaluate(IChromosome chromosome)
{
return1/ (PathLength(chromosome) +1);
" h: l5 Z3 {6 c8 \) j  R}
! G8 w3 N* p8 m( ?  x) @0 W
4 [( O: u$ f& {; |) Q///<summary>
/// Translate genotype to phenotype
///</summary>
/ Z4 p# K4 w) t, W# Opublicobject Translate(IChromosome chromosome)
{
" g; _" h. n8 G- v" ]$ B( \, _. Nreturn chromosome.ToString();
}
( _! D0 Q3 j: w4 s) a
8 q- e( z7 u  E% m, \///<summary>
& r' v. E; [. p0 I# c! G4 B! e/ K/// Calculate path length represented by the specified chromosome
///</summary>
publicdouble PathLength(IChromosome chromosome)
+ b7 K- {# p) U; \7 F{
// salesman path
ushort[] path = ((PermutationChromosome)chromosome).Value;

// check path size
. O% G. [# ]5 Q6 R7 _( ?7 {if (path.Length != map.GetLength(0))
{
thrownew ArgumentException("Invalid path specified - not all cities are visited");
}

// path length
int prev = path[0];
int curr = path[path.Length -1];

# d. E* j# W5 D1 U// calculate distance between the last and the first city
9 l  u% {6 e% c6 U# l  jdouble dx = map[curr, 0] - map[prev, 0];
: i7 D( z* J( l- S2 \double dy = map[curr, 1] - map[prev, 1];
double pathLength = Math.Sqrt(dx * dx + dy * dy);
. ~5 x5 _' }. Y) X* ?
( ]1 Z* A7 l1 _1 D1 O; w// calculate the path length from the first city to the last
# ]9 S/ ~9 t, _3 d) T( W/ Pfor (int i =1, n = path.Length; i < n; i++)
: l( b. e- b. u" Y" p! j& D) x{
// get current city
5 t6 @! m; t6 @, Q% n$ ?$ e& U1 ~4 [4 Dcurr = path;

// calculate distance
dx = map[curr, 0] - map[prev, 0];
dy = map[curr, 1] - map[prev, 1];
6 e6 Y, @( p% E: r& `7 i; cpathLength += Math.Sqrt(dx * dx + dy * dy);
/ b- d8 W- y) E9 S! X) ]& E
, r8 O3 o% V4 ~# ^( X// put current city as previous
9 ^7 |) y$ c  C* _; ~- ~: u, Aprev = curr;
& c$ _3 x3 @& v# w& ^+ r* u- l}

return pathLength;
}
" h4 }0 N# j) ~+ b}
& P* X/ Q( D& w3 r& i% N}

9 G# @" G+ c5 q" J! y2 ~
! p0 C! i: D+ X[url=][/url]
- M0 U' Y! H: P+ ~* c5 X, ^
. c- M, y2 J1 q5 }9 U% g6 F# B% y

   (5) 添加GenticTSP.cs，加入如下代码：

3 B7 ]* n) b- E/ k; W+ U) r# F2 s[url=][/url]
GenticTSP类using System;
( S' }& S' t! N0 \8 fusing System.Collections.Generic;
; j0 r; C4 x1 zusing System.Linq;
+ ^* q5 h7 c7 p, b! l5 ?$ h: q: @+ @using System.Text;
using System.IO;

using AForge;
) a; I5 L. W' i8 }  ?5 h7 d8 b2 Xusing AForge.Genetic;

0 t9 P; A- q8 i1 Z7 V9 M
namespace GenticTSP
6 z* R, V( B  D" z{
" T3 G8 b6 C( }' e7 [class GenticTSP
{

8 C% l  J+ Z/ z' ]2 v0 c5 Estaticvoid Main()
{
StreamReader reader =new StreamReader("Data.txt");
$ j# E  u" z. d/ O& h5 z
int citiesCount =31; //城市数
) Q9 u% o& y% E0 p$ h) [
int[,] map =newint[citiesCount, 2];
5 e& D" o5 T) S$ {
for (int i =0; i < citiesCount; i++)
' o/ M; }# l& q; T( [{
string value = reader.ReadLine();
string[] temp = value.Split('');
5 L) ^8 E% Z, Z+ N! nmap[i, 0] =int.Parse(temp[0]); //读取城市坐标
/ d/ d. I) b+ `map[i, 1] =int.Parse(temp[1]);
  c5 p4 `. Z! t}
9 f. Y4 _8 h* c3 J( Z. W2 s
! N  b% n4 N/ V) {$ f, |// create fitness function
TSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);
5 B5 D/ M9 k& c" w6 Y6 ~
7 ^2 w/ n: P: _+ \4 z, gint populationSize = 1000; //种群最大规模
& B/ J* B0 x& W5 g
/*
* 0：EliteSelection算法
* 1：RankSelection算法
& i. z4 x# B9 j7 y. E; \* 其他：RouletteWheelSelection 算法
* */
9 x1 ~- n  j4 F# m7 A3 A) N9 Xint selectionMethod =0;

! D. E8 i2 f; K7 }// create population
8 F8 M8 R! J8 j6 S# S- y4 hPopulation population =new Population(populationSize,
, S+ N9 ~# Q- g# knew PermutationChromosome(citiesCount),
' q1 }1 f% J7 b% }( l5 Z) W3 mfitnessFunction,
(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
! c* F8 I% p: Z0 r% ]2 H6 B(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
(ISelectionMethod)new RouletteWheelSelection()
' p) m: H0 m' D; u9 b( s) F);

// iterations
* s5 T4 }" s  J2 pint iter =1;
int iterations =5000; //迭代最大周期

// loop
- T3 k  C' `9 x* f& N; @' z! twhile (iter < iterations)
% z& \( C' k% c{
( Z1 c; E  |. Z( N. L// run one epoch of genetic algorithm
population.RunEpoch();

1 ]9 C2 s$ l% ^2 S& D7 c/ l  u+ _6 E+ l// increase current iteration
iter++;
}

" N. q, G4 ?; A5 d" T+ O, N& C. MSystem.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
System.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
System.Console.Read();

  ]5 Y+ Z# \3 h1 M}
' s5 z- e) {6 v}
}
$ @8 `) }/ J" e: s, I) |9 j

[url=][/url]

6 g' o% i3 d2 Y6 ?: O

0 P9 Q7 z+ b! G$ n" B& _
) B( L( u8 X: L  c7 t- `' @( m

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

6 x) j8 r- L: d: r

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

% s: O' k5 ?5 k; P; v) w; q- H