【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏

& P' Q" a3 R9 S- \+ m

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

! \$ w0 O+ Z: l- G5 o1 s7 X" W
0 k% Q% q) X! p6 j! O1 r一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

3 ~8 c! I3 c2 Y; s) D( [# l

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

  J% B' r' |) t, g% Z$ ~1 _3 d

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

7 n, a7 U  v) h

　　遗传算法有3个最基本的操作：选择，交叉，变异。

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

[url=][/url]
. \& K9 u0 W# X2 c- X+ I2 u, B6 R; v轮盘赌算法/*
* 按设定的概率，随机选中一个个体
/ D. v0 |/ X+ r7 @5 s* P表示第i个个体被选中的概率
9 _; o9 l: v: a2 s3 N: k*/
int RWS()
{
. @  y: X+ l" e7 ~m =0;
9 u7 `& R# e6 F3 k$ i5 |r =Random(0,1); //r为0至1的随机数
; F7 y" C* ]; h" u6 pfor(i=1;i<=N; i++)
{
$ Z! ^. D5 _5 T2 N  j* Q/* 产生的随机数在m~m+P间则认为选中了i
* 因此i被选中的概率是P
; L7 I: W2 `# k$ T. K*/
8 M$ u7 X7 `# S3 z& Dm = m + P;
" v/ O+ @4 M5 r* {5 J( Mif(r<=m) return i;
}
}

[url=][/url]

/ J* d8 ]% h# d( m5 ?. l
( A" N4 v: f" n! |; W

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

/ q) H0 `  H3 a. Q

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

% b6 @8 h/ Z1 d5 K
  n( `) N; r& T* ?" t2 ~三.基本遗传算法的伪代码

[url=][/url]
* l8 O& c+ O8 _- u, H基本遗传算法伪代码/*
2 R) Q* u7 A8 u" t. e, x$ V* Pc：交叉发生的概率
$ U3 Q' Z4 O0 ?* Pm：变异发生的概率
* M：种群规模
* G：终止进化的代数
  [6 H! q- r8 b; n. A: o* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
*/
; i4 w; ]8 Z/ Z( k初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop

3 A4 I! z# L% n8 Y& Qdo
{
　　计算种群Pop中每一个体的适应度F(i)。
+ ^  J) W# V+ J0 M3 d$ {+ Q8 v　　初始化空种群newPop
　　do
　　{
　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
; {( O3 y4 j: K2 r* `: z; U　　　　if ( random ( 0 , 1 ) < Pc )
　　　　{
　　　　　　对2个个体按交叉概率Pc执行交叉操作
　　　　}
　　　　if ( random ( 0 , 1 ) < Pm )
. N+ t; f. L  l4 ^　　　　{
　　　　　　对2个个体按变异概率Pm执行变异操作
) b! n0 y; S& L8 C　　　　}
4 E& G+ m7 l2 N. L* q  K: `8 r将2个新个体加入种群newPop中
$ ~" X# T" c- B; r' [" m, ]} until ( M个子代被创建 )
用newPop取代Pop
, \' i- U$ t5 Z+ z8 ?6 n( P}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )
8 S9 y" X1 b' \9 o, D

9 H6 F8 @* x- u) B[url=][/url]
$ g& n: B8 p8 V' X* B% y$ P' [9 a- B

$ j  j, c. `5 s: ^$ x
四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

6 T/ h2 z1 @% O0 \! j

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

$ ^& A% ?( c" e3 y

图1. AForge.Genetic的类图

; q) @1 [2 I3 C$ ?: c  X" {8 l4 j
4 m6 U( ?, v3 F! A" C+ G6 {5 O  ]

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

[url=][/url]
1 V& p' a! X0 I3 s% u+ {( w13042312
+ X: U, R) l) E36391315
) Q0 N9 ~& R* c' m+ T: O41772244
37121399
8 w, v" Y; k& D4 ]: p: M" T& u34881535
33261556
/ |$ F4 l4 Q' ]1 w6 R32381229
41961004
4312790
4386570
30071970
25621756
* x/ Q4 u* q" n$ Y! f" }' T  {* X27881491
4 g( _1 q# k9 T- p6 B23811676
8 G- I5 h7 a9 a  D% F* [. W  p% Y1332695
37151678
39182179
7 M1 j& H# q  G40612370
37802212
36762578
, [% u2 C, @( [0 [, y% {$ e( q40292838
$ e+ j2 J9 ?, G# W. `* A42632931
34291908
8 P7 H8 z1 [' p* a4 T( i9 X" ?2 V4 k35072367
33942643
5 R, e1 J4 h- c. R34393201
29353240
31403550
2 z% P0 }7 ^/ D6 t. b25452357
27782826
23702975
[url=][/url]




1 ?' f- B. P" x6 n

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

2 X8 Q9 \; D5 \7 s  n  f4 X" j! ~/ \[url=][/url]
  I3 C2 m4 w& X" F% k' ?TSPFitnessFunction类using System;
using AForge.Genetic;
, ^$ S4 F9 s. k! g! j& X
7 z$ V& N* J. U" b2 |  Wnamespace GenticTSP
{
///<summary>
+ [+ z- }( B) h: H5 [0 D( F, x5 a/// Fitness function for TSP task (Travaling Salasman Problem)
///</summary>
publicclass TSPFitnessFunction : IFitnessFunction
{
5 L+ Z6 D2 O% _+ x4 l// map
privateint[,] map =null;

// Constructor
public TSPFitnessFunction(int[,] map)
3 `' P' D" t1 d$ m{
this.map = map;
}
; T5 y4 O9 v, k* N4 q
/ t3 x- L9 i( b6 p, n///<summary>
5 ~! I. K+ k; E4 Y/// Evaluate chromosome - calculates its fitness value
///</summary>
publicdouble Evaluate(IChromosome chromosome)
& `1 e! _5 j) Z. I{
; Q: `3 T1 h  ^2 E- a9 F5 m  o; b: m4 |return1/ (PathLength(chromosome) +1);
}

///<summary>
- c' l9 F% D" D/ x, O/// Translate genotype to phenotype
///</summary>
: z& h  M9 w9 rpublicobject Translate(IChromosome chromosome)
" h8 B3 c5 J9 {; f* v{
" y8 l" D7 y& a5 m4 y. Jreturn chromosome.ToString();
" C; z: d- @5 @" J}

. Q2 i0 C# X+ m///<summary>
( D. b" A8 x/ @" j# g9 N3 V/// Calculate path length represented by the specified chromosome
///</summary>
% x# I8 R1 B2 x& b6 T5 ~publicdouble PathLength(IChromosome chromosome)
{
) r) y* d  u) m4 o& R: b$ I// salesman path
* e4 m# K% j  r, J- o' v* Hushort[] path = ((PermutationChromosome)chromosome).Value;
/ i6 P4 m2 R) o- Q
// check path size
1 w& }1 L% h7 nif (path.Length != map.GetLength(0))
" c& M1 ~- x  ^1 H7 c3 u{
, E5 D+ D/ |. B8 g/ D0 G0 Tthrownew ArgumentException("Invalid path specified - not all cities are visited");
}
& J8 x* U2 u8 ^% f( r' k
// path length
int prev = path[0];
int curr = path[path.Length -1];

, a  g+ O% ?7 z: Z5 w5 ?7 V// calculate distance between the last and the first city
double dx = map[curr, 0] - map[prev, 0];
6 n: J% G. Y3 q& X9 v3 z4 mdouble dy = map[curr, 1] - map[prev, 1];
double pathLength = Math.Sqrt(dx * dx + dy * dy);
  C5 n7 z- J- K/ A, S: F0 o- {/ I
( W5 e" J* R) p8 s; p// calculate the path length from the first city to the last
) d2 T2 R& `0 Z4 x& ?' z* S8 Lfor (int i =1, n = path.Length; i < n; i++)
{
9 @7 Z) J8 F' i// get current city
curr = path;
6 Y1 _+ V2 W) Q6 O1 I
// calculate distance
dx = map[curr, 0] - map[prev, 0];
4 e. J' d* o) [* d  d4 Ydy = map[curr, 1] - map[prev, 1];
pathLength += Math.Sqrt(dx * dx + dy * dy);

$ u$ G# J5 d7 S3 E) Q9 l& s/ L* m9 P$ [// put current city as previous
% q1 R( a( K3 O- G& Lprev = curr;
7 B" ]* u# c6 L+ t}
+ X, k3 Z+ `4 @# i
return pathLength;
}
7 e# K( @8 Y8 ]# b7 V! W* _}
}

7 T5 }- ?  Y* g1 \
' M% B# Y# ~: X$ D& |' ?& n  m9 H[url=][/url]

$ C, u$ W  x2 |# M- l4 h

0 v6 ^$ R, f* {  T

   (5) 添加GenticTSP.cs，加入如下代码：

& b. x% X7 j) T0 b2 L[url=][/url]
GenticTSP类using System;
using System.Collections.Generic;
$ C) Y) y9 `+ u4 U, o$ S% s+ _using System.Linq;
using System.Text;
using System.IO;

/ S* ]3 a; s) S+ a% B+ Tusing AForge;
. z- J4 m/ p+ x! c0 `4 t0 U, Pusing AForge.Genetic;
9 D8 I% c- t/ R+ J# o; }
& c7 `- b$ Q! k0 {( O+ B; b( a0 ]( y
! Q7 v! A3 N) D4 `  I" F+ bnamespace GenticTSP
{
class GenticTSP
{

staticvoid Main()
% x1 |$ }) m- Z, K( f) }{
0 c! u0 t( x, c) w) u2 KStreamReader reader =new StreamReader("Data.txt");
- r' l/ L% h; F. F: _& v
int citiesCount =31; //城市数

4 U# W3 T3 _& R# Iint[,] map =newint[citiesCount, 2];

for (int i =0; i < citiesCount; i++)
{
. J8 R1 y: `$ ^* K& y- ]string value = reader.ReadLine();
string[] temp = value.Split('');
: r. ~5 f+ v1 k/ [- jmap[i, 0] =int.Parse(temp[0]); //读取城市坐标
( A- z4 G( p/ h+ Vmap[i, 1] =int.Parse(temp[1]);
: l% k/ A' }& v. w- J5 `}

// create fitness function
' X! {9 ~% w7 p8 v9 H! XTSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);
: R, ^* a9 \# E) [' s' k
int populationSize = 1000; //种群最大规模
+ L2 g6 p8 N1 g- F
1 u9 J( u$ x$ i; D/*
: T* E& X( R( |% H8 z* 0：EliteSelection算法
+ p4 ^" W) h1 T: n7 a! H: k3 q7 ]" l* 1：RankSelection算法
* 其他：RouletteWheelSelection 算法
* */
int selectionMethod =0;

: Z, o8 V0 W6 P, c- z// create population
9 K0 h+ g# q' k* aPopulation population =new Population(populationSize,
new PermutationChromosome(citiesCount),
+ v- b/ L8 t8 r2 l0 b5 Z* hfitnessFunction,
1 S. @; c1 E" _# N3 A* m* [(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
1 R5 o/ W8 T' e0 O& G" o. t(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
(ISelectionMethod)new RouletteWheelSelection()
);
( G( J4 }. B( {0 r  e
; @1 A+ X" |6 P% B& X1 ]// iterations
5 j, E5 u) |7 I2 }& s6 cint iter =1;
" a- R3 O' Z; g* l( N$ A1 Uint iterations =5000; //迭代最大周期
; P2 ]) y4 |. P7 ~( Y
// loop
while (iter < iterations)
{
// run one epoch of genetic algorithm
. d- Q- W; G2 ?4 G/ Upopulation.RunEpoch();

# b0 |8 s! C  c7 |+ e// increase current iteration
' j* x! X8 Y7 V' d, Uiter++;
1 _! C: E& c$ l2 S$ `- e}
6 k9 b3 O2 {1 Y5 V' b
9 `1 G8 h, `# t# ]1 I& SSystem.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
% ^# _' A6 X4 `* \System.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
System.Console.Read();
7 h& p8 l5 X! N/ [; u
}
}
}
' E6 Z5 X) O+ S

[url=][/url]

2 K- b. S6 N7 F& H. W7 P


$ w1 O4 o( ~; P, M

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

5 @# l! `$ c1 ~# W5 c( J* q

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

! B1 S$ P0 v0 `7 m0 c6 E& \; ]