【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏
; j& z8 ?9 a# p- Q% [8 k
  ^$ `; [2 z0 q/ S6 V$ P5 N7 q

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

% _# X' {9 `9 ?3 `一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

# o* w% Q; y. N0 i. D7 I
2 |; g, u3 n/ s+ o2 ], q二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

% L6 R( W7 o' y9 H& f+ U: T" w

　　遗传算法有3个最基本的操作：选择，交叉，变异。

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

[url=][/url]
; e3 i2 j0 O, {轮盘赌算法/*
$ k7 [4 m/ l9 M4 l* 按设定的概率，随机选中一个个体
/ i& H# c$ `% t9 K* P表示第i个个体被选中的概率
*/
* Y8 W3 I) k7 n6 k, V/ ]int RWS()
{
m =0;
9 V% A4 o* O0 g: `r =Random(0,1); //r为0至1的随机数
for(i=1;i<=N; i++)
' y3 q# P3 |) ~! p7 `: O& m. P{
6 K, H- x! K! w' l/* 产生的随机数在m~m+P间则认为选中了i
* 因此i被选中的概率是P
8 B( _: j+ o+ i: S4 n*/
m = m + P;
if(r<=m) return i;
}
- Y1 [9 l. s1 ~  W3 a2 Z+ O}

[url=][/url]
& k0 N) P6 R8 |! t/ A2 g5 I

% k5 B& J# V* t& d

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

) K5 S1 d. m( t6 V8 J/ e1 |

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

% `, v1 y, Z. a& q
三.基本遗传算法的伪代码

[url=][/url]
8 b" r9 u& y! X. \5 M基本遗传算法伪代码/*
7 O7 x( [7 g- Z$ N+ k3 \; e* Pc：交叉发生的概率
& B" d( P' r0 a3 w; R9 _  N* Pm：变异发生的概率
) [2 e$ Y/ x2 Y1 X" ?% P* M：种群规模
) T( a6 o4 ~4 E* p* G：终止进化的代数
  }% `. a# ^' j4 l5 D9 ?* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
*/
, ~5 H9 s2 l/ ]$ }& M* R初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop

+ W- ^8 k2 E% \" A* s' M1 [do
& T# U$ q( W6 Z" l2 k# S  h8 ^  B, a{
　　计算种群Pop中每一个体的适应度F(i)。
, K  d- h7 S5 t& g8 f$ I& e) }　　初始化空种群newPop
$ @; u* R3 |! u; m" J* a& I/ h　　do
) {. I& q5 q( }　　{
+ L' T: M- e1 {5 b3 |$ o　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
2 B8 X2 n& {5 |8 d8 e　　　　if ( random ( 0 , 1 ) < Pc )
　　　　{
　　　　　　对2个个体按交叉概率Pc执行交叉操作
　　　　}
　　　　if ( random ( 0 , 1 ) < Pm )
; K6 W/ B' I# W　　　　{
　　　　　　对2个个体按变异概率Pm执行变异操作
　　　　}
+ y" ]) c) Z( m将2个新个体加入种群newPop中
" V' A3 L! l0 R} until ( M个子代被创建 )
用newPop取代Pop
}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )


[url=][/url]
: v' e* Q. L! b% T; F
% T7 K% q6 N- v* B+ d6 |. H

: \) u% ]+ [1 S% Z% I9 T四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

1 _7 b9 l% {8 }+ p5 e7 A' s2 f

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

  T( j& D) [  D4 w6 T

图1. AForge.Genetic的类图

" a$ P; v9 }4 p8 b6 M
' M8 \7 |' G% K1 y4 ?

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

: b. H+ f3 o, T; c7 P" J[url=][/url]
13042312
# M+ T: S2 f% C7 ^* A2 ?  g$ y! T36391315
6 |8 _" g9 V" X& G% v- x0 q41772244
0 B7 O) J9 u- s8 h37121399
34881535
% }+ }  L( j1 j2 e! h! v5 `33261556
32381229
* y% {' q& M6 ]7 s% c1 `41961004
9 a! B9 g3 C- R* }4312790
4 ~3 X" r% e2 \' s2 e" v: Z- H  l4386570
30071970
' z% v4 {& c) A5 o8 m25621756
27881491
. K, C& A& {# D9 y( w: o( o! _23811676
1332695
37151678
39182179
, i  q) c  z' M0 y, e9 v3 a40612370
37802212
36762578
! X; ^& y" J. b! B40292838
42632931
) ^0 Y/ B- p; a7 N: Q34291908
35072367
33942643
3 _! G" B' W1 A; }+ {34393201
29353240
31403550
25452357
27782826
23702975
, g! F4 P& j! U! w& ^) |[url=][/url]

6 `+ z5 c- u$ m
9 }5 j3 K) y9 }/ a# a
9 k( C0 X# X& R3 }9 U

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

/ @- e" k* d& P. t3 v6 w% c[url=][/url]
TSPFitnessFunction类using System;
using AForge.Genetic;
$ ]- s( F) f0 [' {7 N# C
5 g. \  m+ B' v0 \% H7 O+ D. [1 Vnamespace GenticTSP
{
( @9 N& j) r" l) \7 _///<summary>
/// Fitness function for TSP task (Travaling Salasman Problem)
, P' W" F+ {* Z///</summary>
publicclass TSPFitnessFunction : IFitnessFunction
{
* Z: ^1 N% q5 ^. D2 Z// map
8 f1 |, W" X# k) _, r! Fprivateint[,] map =null;
) n: u" r. O8 v. J
// Constructor
- q6 d  w5 i6 Q, Xpublic TSPFitnessFunction(int[,] map)
; s% H! c  B. s{
this.map = map;
) |+ \+ }& ]: P}

///<summary>
/// Evaluate chromosome - calculates its fitness value
  z* W1 }' @" R: U$ x2 R///</summary>
0 q, q2 u- k" \% Dpublicdouble Evaluate(IChromosome chromosome)
{
& B: _( E! l4 M9 q  |7 C, Z' oreturn1/ (PathLength(chromosome) +1);
" |6 R; m2 \# B: Y( }}

/ H2 B1 h, V$ e& Z///<summary>
: m: @, S2 V; D: C% s/// Translate genotype to phenotype
6 Z' l6 e# N0 D5 [///</summary>
publicobject Translate(IChromosome chromosome)
" g0 h: I2 a2 b. z& ?{
' n2 X! s: R2 I0 _return chromosome.ToString();
}

2 B# J6 l9 `3 t9 C8 s. d/ i///<summary>
& i$ C* A1 b  }3 A. x/// Calculate path length represented by the specified chromosome
///</summary>
publicdouble PathLength(IChromosome chromosome)
0 V) n% Q/ _: B* P. ]{
; T. w2 f, S1 H8 t// salesman path
- `+ @2 `8 ]4 N0 M/ n' G; Nushort[] path = ((PermutationChromosome)chromosome).Value;
' r1 c6 i$ I: [; [
// check path size
if (path.Length != map.GetLength(0))
1 _8 g- ^9 C) ~/ |2 d1 s{
# T, g% `5 d6 j! J! ]/ {4 e( L# ?; Vthrownew ArgumentException("Invalid path specified - not all cities are visited");
}
0 }0 C/ G5 f8 V; X% u: R3 @
" I' l( J& ^  ?1 v. E// path length
; o# X& V& g2 c; ?% F0 u% rint prev = path[0];
int curr = path[path.Length -1];
" p9 U, m" }& S7 t3 R7 Y
// calculate distance between the last and the first city
double dx = map[curr, 0] - map[prev, 0];
double dy = map[curr, 1] - map[prev, 1];
, u7 e% i; G. Xdouble pathLength = Math.Sqrt(dx * dx + dy * dy);

// calculate the path length from the first city to the last
for (int i =1, n = path.Length; i < n; i++)
{
. d4 C$ G; x+ c; j2 Z, c8 k5 ?// get current city
curr = path;
1 b( {  r! l( G; y* o
- _2 M; C% e# k" t3 T// calculate distance
dx = map[curr, 0] - map[prev, 0];
dy = map[curr, 1] - map[prev, 1];
pathLength += Math.Sqrt(dx * dx + dy * dy);

// put current city as previous
" n  Y9 H/ |1 K/ l0 B- S: i  ^prev = curr;
+ l: x. ~% U+ V3 d: i}
9 _. q" q" A4 L: w1 A& P  M. N+ u
return pathLength;
}
9 t, u) E5 s. ]; h8 R/ W0 Z2 S% c}
}
  I& _% g( t4 [% R5 p
6 t2 f6 S$ F. \' Z/ }% Z9 C6 E
[url=][/url]

, s7 o+ R. v5 ~' O; Z

   (5) 添加GenticTSP.cs，加入如下代码：

% t) Q( l4 O% N2 U4 m[url=][/url]
- `0 N6 `1 S+ ^3 O; O* SGenticTSP类using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;

using AForge;
: e8 A+ ~  A: [; F8 ~using AForge.Genetic;


- `/ E  Z0 J: R) {, a0 A& c* }+ qnamespace GenticTSP
2 W" d+ S8 n+ ]2 R{
class GenticTSP
{

: @+ q7 J) ~" J/ g* t  x0 q- Vstaticvoid Main()
* H2 S1 i  v% [& J; @{
7 H9 d9 `1 T. A6 z; F4 NStreamReader reader =new StreamReader("Data.txt");
8 S* m  \! b7 H
int citiesCount =31; //城市数
  O  i3 {; J$ p0 j0 u$ Y- s
7 Y* B7 ~+ |- A; F# |% jint[,] map =newint[citiesCount, 2];

" V1 ^. n% T1 L  x# f  sfor (int i =0; i < citiesCount; i++)
: j! j$ E! V$ f1 L0 M0 r6 w+ C{
3 f% @4 M9 }- v! Mstring value = reader.ReadLine();
string[] temp = value.Split('');
map[i, 0] =int.Parse(temp[0]); //读取城市坐标
map[i, 1] =int.Parse(temp[1]);
}
7 Z6 J  [+ M1 L. h1 Y5 ?2 |
; B1 |  _  Z1 x7 T" g; d6 y& r// create fitness function
TSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);

3 y: r2 M7 t( L1 K% C5 j6 jint populationSize = 1000; //种群最大规模
2 R/ |9 C8 d7 \# `
/*
* 0：EliteSelection算法
* 1：RankSelection算法
8 ~. E* ?+ l% ~$ n1 f* 其他：RouletteWheelSelection 算法
* */
" ^& a! H" S5 n: Q4 j2 _6 Jint selectionMethod =0;

# U& J# I+ n) F1 e// create population
  \8 B" X- k/ K( v7 f* ~Population population =new Population(populationSize,
- M0 ^# f) w' l. w. `new PermutationChromosome(citiesCount),
4 q$ c( E7 D/ T* MfitnessFunction,
(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
) k! C4 m* l! i: y0 }0 K(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
0 R# G( ?) Z/ Y) x  P(ISelectionMethod)new RouletteWheelSelection()
3 }+ a, W2 ]7 ~8 C; h* b);
) [: E3 F9 K- U/ d$ X  Z5 d6 }" K
// iterations
int iter =1;
6 i9 J& i0 v! ?; d# W1 {int iterations =5000; //迭代最大周期

// loop
. A, _- c, y: [( D9 x, m* Dwhile (iter < iterations)
{
1 w3 M8 Z6 J, E// run one epoch of genetic algorithm
6 d) a" s! V, m7 w( _: Upopulation.RunEpoch();
9 Y  F. K+ ?/ _0 Y$ C
// increase current iteration
/ v4 c. x- z+ h( hiter++;
* C: }% w# Z- g3 B}
3 j1 u; ~, Q" f8 D5 J
; I  k, r% g5 Q9 E& o3 [+ xSystem.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
5 b/ ~/ C! {; O4 p  s& vSystem.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
System.Console.Read();
  p! p" _+ b5 e% E
}
}
}
5 U3 ^+ N- n! X: b1 E

[url=][/url]
( V0 R3 b3 H+ `' B& x3 d
* o1 x0 Q0 B/ R. M" j' R, A
6 u( U; f8 J2 p# C

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

- Y: E& d5 i' O7 }- T7 H" T( [