【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏
1 Y! K$ e# i. x; Z

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

( ?$ U$ s7 h/ w7 R6 R  S2 E: g
一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

　　遗传算法有3个最基本的操作：选择，交叉，变异。

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

& F# q3 I7 S1 @: Y: F[url=][/url]
+ p) B' S- t1 j" \2 @轮盘赌算法/*
7 s, P6 j8 q& i2 x9 k* 按设定的概率，随机选中一个个体
) L* k4 l6 h5 e! k- }  T8 z* P表示第i个个体被选中的概率
( |; @7 A8 A3 n' n*/
5 x& d* j# S& }- N' Zint RWS()
{
; v2 f9 y. s/ S5 d* D; Gm =0;
r =Random(0,1); //r为0至1的随机数
+ Q( O& \2 F/ l' E( o2 wfor(i=1;i<=N; i++)
2 }# c# I: j% x* S+ j{
. s7 r% d) K3 r' d/* 产生的随机数在m~m+P间则认为选中了i
* 因此i被选中的概率是P
*/
# e( I# W, [0 ym = m + P;
% e! A& Q! @# Y* N$ z; G8 gif(r<=m) return i;
, p. m  y5 ], [$ _4 o}
. p* A4 D# q- h+ [}
$ ]% H' x1 Q/ C3 v, E
- N; G9 G% u) T% e% ~# U[url=][/url]

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

8 D: w0 y  R6 h- E# w' H

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

$ t4 X$ }. q# D! L% j
+ B$ `/ w, f- h三.基本遗传算法的伪代码
( x- z3 [6 Z/ y( R4 G' Q+ U. W0 ^
+ o8 M4 ~" i! m  a[url=][/url]
基本遗传算法伪代码/*
" Q3 D, u6 f0 G2 B1 B2 X% e* Pc：交叉发生的概率
, A8 A/ }5 q8 H8 G* Pm：变异发生的概率
* M：种群规模
* G：终止进化的代数
7 s: y: i. Y/ r$ r* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
! u5 }8 M2 c$ N! {+ C9 n*/
初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop
  H0 o. d( o% F5 r. m0 T6 M% U
; Q) y& t) _& Udo
{
1 A  b: E, s1 R" `: `" X  m　　计算种群Pop中每一个体的适应度F(i)。
　　初始化空种群newPop
　　do
　　{
　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
　　　　if ( random ( 0 , 1 ) < Pc )
( `. _" ?1 O1 O/ W9 f　　　　{
3 ?% C5 v. R7 M( X　　　　　　对2个个体按交叉概率Pc执行交叉操作
　　　　}
2 T( g" K6 N7 ?# C  d- Y# s# R　　　　if ( random ( 0 , 1 ) < Pm )
　　　　{
% i. B- x( |& O5 @+ |　　　　　　对2个个体按变异概率Pm执行变异操作
　　　　}
将2个新个体加入种群newPop中
$ l# Q/ ^' L+ Z. o- ~6 L* s} until ( M个子代被创建 )
6 p/ H9 E% @2 e6 p+ s用newPop取代Pop
}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )


* M2 E$ ~- s) }1 h[url=][/url]

& _, Y; r9 Q. B, K/ ^  u$ J* q

四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

" g: z6 Z6 i' j5 q3 g8 x

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

图1. AForge.Genetic的类图

% e* i: _" t/ ~- g, D% a
/ E- v1 y1 c  y% ]* X

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

* [  W9 ~- g1 j8 l[url=][/url]
1 V1 e0 [6 B" s; c13042312
! R' F( A6 L5 T7 F: {5 }+ _36391315
7 o9 n" r! r# ]( m41772244
/ k3 M# v8 d3 |3 w3 B: I2 [37121399
" v2 Q" ?6 E( `9 y! ]: q  R6 ^34881535
33261556
3 v) b6 z6 h3 f. L. l32381229
) c% Q# s5 x. p3 q) W7 Z  z/ D/ I41961004
4312790
  ]# x' T; D4 |+ R1 z) }4386570
+ Y6 n, r9 d/ l+ Z3 l30071970
25621756
$ a/ ]" e' u1 @27881491
+ Y: x4 A: \6 X) \# v$ |23811676
1332695
37151678
39182179
40612370
& O# w. g8 M; R. h- h* B) f37802212
# U# ^# v4 `& L4 ^7 P9 O+ R  t! b: n! A36762578
: O, r9 d% _7 p- b% A9 A; M2 S) X- f40292838
  u0 O0 S( [5 o42632931
34291908
35072367
* q. o0 |. ~) b+ K- r" c! X33942643
34393201
29353240
# c7 f5 o% m3 q: a2 w: ~31403550
" ]/ }' n( Q) M( @9 V# T25452357
27782826
23702975
[url=][/url]


# \- n" y: r6 n2 w8 ^7 G

2 t5 Y# q$ D3 e3 Z! i) n  @

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

[url=][/url]
9 i4 X6 P7 O% P, T1 u4 V$ yTSPFitnessFunction类using System;
using AForge.Genetic;
1 ~! w0 \/ l3 e, J- D
namespace GenticTSP
{
" O6 b( n& u( z& O  F///<summary>
/// Fitness function for TSP task (Travaling Salasman Problem)
0 c( N" g- @$ Q  L% @5 _- M///</summary>
9 R2 v* o, P+ i& h4 Spublicclass TSPFitnessFunction : IFitnessFunction
{
// map
* X, Y* Z7 B! q, D$ fprivateint[,] map =null;

/ F0 U( a( B3 {- [) ~0 s+ j4 m4 I// Constructor
. z# L. u3 \9 |5 n# ^public TSPFitnessFunction(int[,] map)
{
this.map = map;
}
4 ]# J! `( I: N* u% n1 o! O
; X5 C: @% R% l9 k$ i  g# W# f///<summary>
2 G4 w  ?4 k# m2 Q& @/// Evaluate chromosome - calculates its fitness value
///</summary>
publicdouble Evaluate(IChromosome chromosome)
{
- c! l$ c$ X0 k$ ]' @$ Wreturn1/ (PathLength(chromosome) +1);
+ s9 w# _/ u* [: R" C. W" x}
# a- h. i3 R3 j  L  r
///<summary>
/// Translate genotype to phenotype
& F' W/ W3 c9 _; f: p" G, m///</summary>
$ y0 Q6 p# k, x! F4 K( i, ?4 cpublicobject Translate(IChromosome chromosome)
/ g- |' w. h$ b: a7 M3 f{
8 m. r$ L! L( U) x6 g9 Lreturn chromosome.ToString();
}

9 b; t& \- R4 G1 R2 ]9 h" N///<summary>
- b. D& z" o. y/ v/// Calculate path length represented by the specified chromosome
///</summary>
publicdouble PathLength(IChromosome chromosome)
4 j; H1 k" v# v8 |{
// salesman path
ushort[] path = ((PermutationChromosome)chromosome).Value;

- |- ]$ R( b; I9 Z$ s0 m. k6 ^1 }+ j// check path size
if (path.Length != map.GetLength(0))
{
thrownew ArgumentException("Invalid path specified - not all cities are visited");
' w- j: J) h2 @" _2 h}
( }: ~) l9 k. g9 |# Q9 T
// path length
int prev = path[0];
int curr = path[path.Length -1];

// calculate distance between the last and the first city
/ `( i  d0 f5 l. w9 sdouble dx = map[curr, 0] - map[prev, 0];
+ _9 S) x3 _0 Q" u1 @5 Vdouble dy = map[curr, 1] - map[prev, 1];
0 Y3 j, Y0 N- L3 \double pathLength = Math.Sqrt(dx * dx + dy * dy);

// calculate the path length from the first city to the last
! a) I2 ~6 h1 T" J6 L- S1 Qfor (int i =1, n = path.Length; i < n; i++)
5 p9 @3 G- _3 p, }{
// get current city
curr = path;

// calculate distance
dx = map[curr, 0] - map[prev, 0];
" Z! |1 q+ K" h$ A) a$ |' E) s; idy = map[curr, 1] - map[prev, 1];
2 @+ Z$ B& N2 C) [! M" E. upathLength += Math.Sqrt(dx * dx + dy * dy);

// put current city as previous
! t( v# h/ t" mprev = curr;
}
$ H: k  n0 o8 ~' o5 `8 _
1 s6 r3 L3 ^( P: nreturn pathLength;
/ ?& @: N. E& r( I8 Q4 X( Z+ _}
" I$ ]7 y2 D9 X, V& o0 ^9 K}
% R5 c# i- w, w6 |}
0 [( P$ Z8 [; |2 P# F' i) x* e! m
! M& m; S1 ?% y- C" J9 W  T
[url=][/url]

7 b$ c1 t- `5 E6 S+ K3 _' ]2 o

   (5) 添加GenticTSP.cs，加入如下代码：

  F- W5 f, h+ {0 F) y[url=][/url]
GenticTSP类using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
3 W+ r6 ]/ R. V6 b# cusing System.IO;

, a# C$ c, e% w* F1 x2 nusing AForge;
* s1 X, b- @+ R& Y! J0 wusing AForge.Genetic;
2 O6 r$ Q/ A% x2 H

# q+ b0 t. ?$ }6 Y+ L$ i  Hnamespace GenticTSP
. c4 g  z2 Y: {# u; ~{
+ d& p) t# W2 G% m, Y; M8 _class GenticTSP
1 }- E9 x5 c5 C! |9 K9 v{

7 ~" b" Y& I6 E0 {( ~0 P  fstaticvoid Main()
& D" Q. v9 x3 ?" B- q{
) e# X- f7 H( t4 J8 X' oStreamReader reader =new StreamReader("Data.txt");
( k1 ?" {/ A; ^) I
4 w* T  T- H0 A$ n: x, \# Rint citiesCount =31; //城市数
  e$ ^* p1 b9 ]
* a' ?) N) i. K6 l7 M& O% [int[,] map =newint[citiesCount, 2];

8 U) K; |: Z6 S2 b  rfor (int i =0; i < citiesCount; i++)
: ]6 M: m* Q7 I, C/ D{
) e0 }2 k/ P" F* H$ e# W) k1 Istring value = reader.ReadLine();
: ^; g3 M( p9 z+ \( Zstring[] temp = value.Split('');
map[i, 0] =int.Parse(temp[0]); //读取城市坐标
) U) Z' P" j0 u1 n+ m$ W" H( Rmap[i, 1] =int.Parse(temp[1]);
$ Y( w9 J' J6 H% p9 x* t- N}

5 C6 t% U9 _( m7 \- y# ~// create fitness function
5 F2 |" e0 q0 O9 }' LTSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);

int populationSize = 1000; //种群最大规模
* x7 J. U) |% D5 z' g
/*
9 c) `5 E1 y8 I* 0：EliteSelection算法
: n# B% a. v) X& Y* 1：RankSelection算法
  v1 a: S2 u& x( h" v- V8 J* 其他：RouletteWheelSelection 算法
* */
int selectionMethod =0;

3 e( n) D9 o5 H2 ]// create population
1 V9 I9 e# z% ~2 F. ^Population population =new Population(populationSize,
new PermutationChromosome(citiesCount),
" @; g. d- S7 ?8 R4 efitnessFunction,
$ m. N& Q. o2 o; V) ^(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
(ISelectionMethod)new RouletteWheelSelection()
);

9 F6 f* y7 S3 `# p$ P// iterations
int iter =1;
) H: Z. g  c$ ^: k/ L% Iint iterations =5000; //迭代最大周期

; u& T; m  D- f// loop
+ p) u$ d* J+ {( cwhile (iter < iterations)
{
// run one epoch of genetic algorithm
population.RunEpoch();
0 h. V, d/ X, J5 b
5 |- |& }9 N* |; [+ ], y/ \// increase current iteration
iter++;
}
4 v& H# H9 s' M# b9 N' o
System.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
' y8 |5 \1 f+ w' f/ U# V, o* [System.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
System.Console.Read();

( f$ U. M4 e0 m# ?+ l( [; @# h}
# w# n" \. c) F" G}
9 B5 y# C5 M) |1 x}


[url=][/url]

& p" n' Y- @. x1 w
; z% X7 t4 B& Q" w0 d8 {- B

( f2 _2 L" H0 b" }

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

5 d+ F1 r6 R  J; i1 k5 M& Q* R

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

% o- {+ Y4 @4 Y& U9 A$ N8 m+ A
$ M/ m! O" N- l5 P* G