【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏
8 D) ~7 E$ z  s4 v" b

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

$ Y/ @6 ~6 ]; f! G一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

  U7 ^8 M$ O! b
二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

　　遗传算法有3个最基本的操作：选择，交叉，变异。

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

[url=][/url]
轮盘赌算法/*
0 X' H& _4 K- z* 按设定的概率，随机选中一个个体
* P表示第i个个体被选中的概率
% ~2 @) M' P' l*/
# _8 x  _% n! T- f, xint RWS()
{
% `- ^- e$ J7 C1 Am =0;
r =Random(0,1); //r为0至1的随机数
for(i=1;i<=N; i++)
7 I) B- c& M  s. ~. i. T: O! O{
1 u% l: U2 P/ @" K& G* M/* 产生的随机数在m~m+P间则认为选中了i
4 @" b9 w$ @. k* O( o7 h* 因此i被选中的概率是P
*/
' m) b& p* d; o, O8 zm = m + P;
if(r<=m) return i;
$ w; t6 `: ~% X8 W5 d# _) h3 ]}
}

[url=][/url]
& ?; J* H. N% {$ c) W' K
- v/ \' S8 _, R/ v% \

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

8 Z/ i$ u; m  Q+ n
1 {5 w% k$ l2 ?7 ~: W; l+ m9 b三.基本遗传算法的伪代码

. ^7 a7 B& |$ h3 M! P' m[url=][/url]
基本遗传算法伪代码/*
0 v4 l9 _' y! |% H# A0 |* Pc：交叉发生的概率
* Pm：变异发生的概率
* M：种群规模
* G：终止进化的代数
) C: a- L, ~( b. O0 I: s4 P/ _! M, T* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
+ D9 T6 ~( k( T- G) [6 h*/
初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop
8 f! r! L8 _# H$ ~( N3 O
" c- N4 q& A) f  Q2 {! I1 ddo
{
　　计算种群Pop中每一个体的适应度F(i)。
　　初始化空种群newPop
9 H# y  f/ K+ l3 H　　do
/ s5 D: j5 n( r1 l3 g' L　　{
1 b' T* o6 c; @& i　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
% R  T; T! ]  e: K$ y6 ~0 ?　　　　if ( random ( 0 , 1 ) < Pc )
　　　　{
  ~3 i+ E! X) P　　　　　　对2个个体按交叉概率Pc执行交叉操作
0 P* r* o- B: C　　　　}
　　　　if ( random ( 0 , 1 ) < Pm )
; \# A/ S" m# e& \4 T" G' t8 o0 l　　　　{
　　　　　　对2个个体按变异概率Pm执行变异操作
　　　　}
将2个新个体加入种群newPop中
2 p; d5 I  ^0 b# Q} until ( M个子代被创建 )
用newPop取代Pop
}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )
9 Z5 P) Q3 r, W2 m

0 P8 o& b; G7 q% }0 _% p[url=][/url]
1 {. D) u+ v) S0 v" Q

% c  z, e) O! L6 A" N
! W9 n% W; ?8 r/ n* _7 ^) @四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

+ p# j. P& D: X% S

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

: U0 h  ?- Y- H8 j+ i) v3 z$ p& g3 R" \

图1. AForge.Genetic的类图

! Z2 k' z' a9 k' D

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

- ?7 x. d- z+ P/ K! o3 X, q[url=][/url]
13042312
36391315
41772244
. O, @# `$ r& f& `; H) C37121399
34881535
( E! V" q$ [# P4 c5 I' j33261556
; b; j' j# e  ]' m5 W/ x( A32381229
$ d1 @5 |  h0 w41961004
4 V' {9 s7 h" f) ?2 m' o5 A0 Z, q4312790
4386570
7 [; }( B7 j$ [9 t0 U3 |30071970
25621756
1 V8 C# Z+ e5 @' K6 V, {: e27881491
. d2 f! x, F3 {1 m" X. d( p+ t& h& h23811676
3 \" K7 ~$ X" b0 k& ^1332695
37151678
39182179
40612370
# @0 K7 H' W, Q7 R5 D37802212
/ ~% Y7 ^8 |3 ?0 c1 P$ \# u36762578
40292838
1 x& ?; h, X6 v! @& q42632931
+ Q; [9 c, O! Z34291908
35072367
33942643
34393201
29353240
( d2 X" W% ?& k! ?) ]$ f8 f/ Y31403550
25452357
4 ~. D$ }/ h2 w. |5 z/ ]# e5 O0 Q27782826
23702975
' ]1 J, {& U( @; m8 z" N[url=][/url]
5 R4 f. T; `5 u6 x
7 W7 K5 _1 [# U4 U  W  n+ G

. n5 ]0 T3 K3 |

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

& q2 S; |( M% N: o% N! p# R. V[url=][/url]
" v- v8 e3 k' l+ p6 N: xTSPFitnessFunction类using System;
using AForge.Genetic;

9 ^* j8 `# b0 Y. y5 G. i+ o4 a0 Xnamespace GenticTSP
* @9 S/ G! e! B' O# J4 `{
///<summary>
1 t: |$ a9 o* X+ X, c' ]/// Fitness function for TSP task (Travaling Salasman Problem)
6 v4 \* l1 G1 |, H! G- d///</summary>
publicclass TSPFitnessFunction : IFitnessFunction
& |5 l1 f# b4 g{
// map
privateint[,] map =null;
: k4 {5 y# F- p& ?, V
6 A" i& T+ t, t( b, l// Constructor
) G- I" J" b4 R* Y: k6 q) }public TSPFitnessFunction(int[,] map)
) p5 `, D4 {4 O2 }; V" E{
this.map = map;
% m1 F1 H& K, x2 ^4 N}
, ]3 H9 z+ y& a# a. C* X9 Q3 a5 k% _
1 ]! G" Z, O! F///<summary>
' p3 a, S( g$ |/// Evaluate chromosome - calculates its fitness value
' P* j" ~$ ^" f: e; v+ N///</summary>
! g4 D) X) y, N% C6 ^2 {) gpublicdouble Evaluate(IChromosome chromosome)
{
# F/ }. f' B6 W: d$ `# Qreturn1/ (PathLength(chromosome) +1);
}
* z+ p  ~: w* o+ d$ u& V: r
" R9 M3 ^0 x# f. J" v* ?///<summary>
) Y8 [. ~2 n9 S' z* E" j$ _6 T1 t/// Translate genotype to phenotype
2 d: L- p5 P  n///</summary>
. m. k0 R5 V9 M' Z9 d* }& epublicobject Translate(IChromosome chromosome)
{
" e/ k# U9 |% w; m  `) P7 R/ \8 ]return chromosome.ToString();
}

+ _) z5 g  P  z7 [# F- l0 @, j///<summary>
$ B( D4 ^* t5 Q, I/// Calculate path length represented by the specified chromosome
; c+ A3 u) \; j+ e. Q///</summary>
* Z! z- j" Q* Q. Q( O8 F1 Cpublicdouble PathLength(IChromosome chromosome)
{
, P4 I2 c7 h! {. \. d// salesman path
, T6 t2 I6 f; R# J" V- W* U. `ushort[] path = ((PermutationChromosome)chromosome).Value;

// check path size
if (path.Length != map.GetLength(0))
{
! d$ m5 Q2 f. X/ b- ~; D1 Q- Othrownew ArgumentException("Invalid path specified - not all cities are visited");
}

8 l) h8 V# |# Z* {( @$ J: W$ D// path length
  L  E$ C  b+ Uint prev = path[0];
; K- {9 h! E; |int curr = path[path.Length -1];
# X0 T- W# d9 ^2 ?3 j
) u; {* w8 j! q& ~9 w5 o6 \// calculate distance between the last and the first city
/ K: o/ I& ~& K+ g7 M& odouble dx = map[curr, 0] - map[prev, 0];
double dy = map[curr, 1] - map[prev, 1];
  T* d; e4 X/ G* t  X- i/ jdouble pathLength = Math.Sqrt(dx * dx + dy * dy);
9 {* a: f; x/ j1 V
( g$ R  z, h7 l// calculate the path length from the first city to the last
for (int i =1, n = path.Length; i < n; i++)
: e$ X7 N5 J* c  T- ^{
// get current city
curr = path;

// calculate distance
( F# |/ d9 P  n  N% ]  {dx = map[curr, 0] - map[prev, 0];
4 I  T/ {; B& W+ F3 o  kdy = map[curr, 1] - map[prev, 1];
6 }9 K! _) `9 U, |pathLength += Math.Sqrt(dx * dx + dy * dy);
, F2 s' u( y3 P' f' _) i  I1 ?
// put current city as previous
+ ]  \$ F7 P9 Y& {prev = curr;
- l' A% X+ c- _# g6 I}
+ w% _' v2 A0 b3 i# m& ~; o
& q3 P; M% [- u5 preturn pathLength;
}
) Q3 {' L5 X2 W5 o! n3 w8 }}
}


1 d% U- i- Z- f4 H# Z% @  b[url=][/url]

   (5) 添加GenticTSP.cs，加入如下代码：

[url=][/url]
GenticTSP类using System;
  F& o) @1 V1 N3 husing System.Collections.Generic;
using System.Linq;
3 ~7 I1 h, U& husing System.Text;
using System.IO;
  M& P$ X8 ]( {6 U2 T* H
using AForge;
/ Y8 C5 q/ C8 P/ Q  e8 ~% i) [using AForge.Genetic;
9 \/ F& m- k7 ]! y6 ?
% J% ^0 ^$ A! |) G3 h) H
  o- V# ~7 d! r( _6 @4 g$ xnamespace GenticTSP
: U( s( |/ T# W1 ~; a8 Y{
2 o  O' w, _- r2 _& eclass GenticTSP
& S6 u3 e6 J8 x8 @8 t% c7 d( c{

staticvoid Main()
9 `4 A" v: c1 f7 O2 @5 m{
3 a: c2 p# `# ^- q+ Y* K1 cStreamReader reader =new StreamReader("Data.txt");
! O( {( f% r2 y* Y1 D
int citiesCount =31; //城市数
" g4 S" ]& m* b! g- i
# P, T$ }2 e4 ?. w! v4 \* K$ l+ cint[,] map =newint[citiesCount, 2];

; J! l1 M* f& c/ @$ }  t3 @for (int i =0; i < citiesCount; i++)
{
string value = reader.ReadLine();
string[] temp = value.Split('');
/ I3 U! E' l3 `, U( Pmap[i, 0] =int.Parse(temp[0]); //读取城市坐标
map[i, 1] =int.Parse(temp[1]);
}
, R4 J! C# q" F! f8 X+ ?+ k
/ l  f- Q# v, s/ v9 t+ T* p! ^// create fitness function
TSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);
  V1 `  d2 @. Y; j( T
! h# G; F8 v  t4 Xint populationSize = 1000; //种群最大规模

/*
* 0：EliteSelection算法
: w3 W. J! [3 n6 `, L+ E5 ^- y* 1：RankSelection算法
* 其他：RouletteWheelSelection 算法
* */
/ a# ?0 Z# ]" Q( Z# Y( Pint selectionMethod =0;

// create population
) R2 U+ I3 y5 e( r0 E# ?3 K2 M7 w. @Population population =new Population(populationSize,
new PermutationChromosome(citiesCount),
fitnessFunction,
(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
(ISelectionMethod)new RouletteWheelSelection()
);
. }) b4 L0 N: k% G+ Y6 u+ G1 @& u
// iterations
int iter =1;
int iterations =5000; //迭代最大周期
/ l! U8 t0 t/ i1 L6 h1 O& w
( H! }6 q$ @5 f; }5 g// loop
4 ]( v, E5 _) c: g' }; Xwhile (iter < iterations)
{
// run one epoch of genetic algorithm
' R9 Y6 n9 s% y) W$ Opopulation.RunEpoch();
7 c- d  P# v. |: A3 t
// increase current iteration
iter++;
}
- S0 l) ]& I; U3 A- K) }
8 B2 w% j( s5 L/ R4 WSystem.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
System.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
( U9 R. u0 a6 q, `System.Console.Read();
+ {, H' R& I* u  r6 C0 k
, d2 V& B$ h- V8 z& ?}
}
, d" N( l$ W0 U}


6 D- R! ?  d6 f5 V[url=][/url]
% T% z( R- ]8 `' Y. |$ p) B
  Z3 [( Z8 z3 w! r  f5 G

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

8 c0 S/ D( j4 T  b  ^& e

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

3 F1 ~8 V; d- g

' s6 a. y/ r1 g# i6 D/ u9 X