【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

$ q: R) ?" p% t. `9 K  ]
一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

　　遗传算法有3个最基本的操作：选择，交叉，变异。

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

; N; [  p1 x9 `# Y- x3 ?% @[url=][/url]
轮盘赌算法/*
# W  [3 o7 B; }; h# l8 t* 按设定的概率，随机选中一个个体
: j. P) f, l6 Y/ Y* P表示第i个个体被选中的概率
' D" L+ }7 X4 ?8 Y* a1 r*/
- ?' A' o6 B( k" R  x, J7 Sint RWS()
{
0 h- Z1 h; w: \7 @m =0;
r =Random(0,1); //r为0至1的随机数
for(i=1;i<=N; i++)
. i1 C, c  V& z7 T0 d, ]{
; u  z6 w2 H$ {& P7 O0 \/* 产生的随机数在m~m+P间则认为选中了i
* 因此i被选中的概率是P
*/
m = m + P;
if(r<=m) return i;
}
}
6 {# k% G% y* @9 U" M' ?5 K
[url=][/url]
: [; t( B/ c- J1 t" q/ B8 [/ D

* ^8 V  ~( m. t: Z. k; s

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

3 O1 z- k8 C4 c$ Q7 n# L" ~/ \

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

# z! ^2 |6 @( M
' ~2 I9 \" d1 O3 A( r三.基本遗传算法的伪代码

3 V  t3 B) B+ i, {( Q[url=][/url]
基本遗传算法伪代码/*
- f2 k. ^! Y* G# H* Pc：交叉发生的概率
/ w& Q- h" y: [  u* Pm：变异发生的概率
# z4 y: i  K! d4 l8 V: Z* M：种群规模
8 n: N& k1 Q: E2 A& a( Z7 f* G：终止进化的代数
* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
( s7 a2 v" [( S  Q4 a# ?" E*/
9 Q" n! q% d- B$ z* e3 a/ W( Q$ f初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop
  T# }9 d( C+ P- F
do
{
6 H9 `) @- w8 W; a; ~" f　　计算种群Pop中每一个体的适应度F(i)。
　　初始化空种群newPop
　　do
7 e* J3 `2 |  r" m　　{
　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
　　　　if ( random ( 0 , 1 ) < Pc )
　　　　{
1 ^# {5 d$ Z! C5 p' i& A$ m3 s- c　　　　　　对2个个体按交叉概率Pc执行交叉操作
　　　　}
　　　　if ( random ( 0 , 1 ) < Pm )
　　　　{
　　　　　　对2个个体按变异概率Pm执行变异操作
) A+ |5 `7 c( z; ]4 ~* |  x　　　　}
将2个新个体加入种群newPop中
- H+ ]' T3 b! [4 u4 F, R} until ( M个子代被创建 )
用newPop取代Pop
6 L" x& m/ {' l1 G}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )
4 k, J( ^  N/ b  Y$ F2 v$ {

[url=][/url]
+ V9 F7 o3 y5 U2 p6 j% d
" b! I9 P( I' u

四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

- L9 t/ H3 k" v) e& }! \! a

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

- |4 y: m4 A. t% a1 i' p+ B

图1. AForge.Genetic的类图

  e8 O0 |: i2 u( }7 v0 b# P. r# r  ^
/ N, @* ^' t* \! P- Y; h2 u

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

[url=][/url]
+ R5 }% N9 r9 _4 I2 w: g- q13042312
36391315
- h! t5 a5 z5 M5 j41772244
& Q0 \. L2 L5 W5 Q. p/ T7 Y37121399
( f( n: S" g9 ~2 P4 R  b34881535
% t8 E' }6 ^  ^6 V8 i1 y33261556
32381229
41961004
; w4 e8 D9 m9 Z0 b6 b5 V* O  V. Y4312790
4386570
30071970
0 \+ b4 ~/ C7 }+ I1 Z! }9 p/ w  v25621756
27881491
4 D$ u" H2 S; M9 h23811676
1332695
) D/ E  `+ m* p37151678
39182179
40612370
) C6 Y7 W. s' y3 a7 }4 c37802212
" [' c* N* D4 P1 |36762578
3 _1 F8 s  B: P% {- l40292838
! }: |% t) ~" w42632931
4 \6 O' _$ Z& B' T$ i6 {1 e/ S34291908
35072367
# M7 r" d; n: v/ |33942643
34393201
29353240
31403550
7 u4 L, R# Q. V3 n! u9 R25452357
27782826
( Q) D- b1 B: ?: N6 r/ R23702975
[url=][/url]
* j- e3 w/ U  B9 P! l4 f. m
) o: ~; r! J0 ~. ?
, P  |3 R, t0 [4 V' \
  y+ q. s. `* ^* p; [6 S
% U( v4 z" e6 m$ l9 Y  A  ]

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

6 q/ n/ j9 {, D) F% s[url=][/url]
TSPFitnessFunction类using System;
using AForge.Genetic;

namespace GenticTSP
{
0 X, a1 r8 ]7 K- L) ]- U///<summary>
/// Fitness function for TSP task (Travaling Salasman Problem)
: ^. G# L3 H  A& a8 H$ f3 ]' t///</summary>
publicclass TSPFitnessFunction : IFitnessFunction
{
// map
privateint[,] map =null;

// Constructor
public TSPFitnessFunction(int[,] map)
{
' x; e7 u2 }" t( \) othis.map = map;
  ^) C+ r: C# f: {0 I+ A}
) n) L( U0 Z0 ?! l2 N
///<summary>
0 U7 E- l" v) k6 \; }8 w* [" j/// Evaluate chromosome - calculates its fitness value
: \2 p3 Y: ?9 I  d///</summary>
+ h4 c8 |5 `& _2 Q# A" }; Jpublicdouble Evaluate(IChromosome chromosome)
{
return1/ (PathLength(chromosome) +1);
* r2 Z: O  q2 [) }}

$ u% g$ Z. x4 J///<summary>
  _) G" R& l2 L5 _% p/ I2 B6 T/// Translate genotype to phenotype
///</summary>
publicobject Translate(IChromosome chromosome)
, f9 `$ L# `$ E) ~; ^{
return chromosome.ToString();
2 E' }* C: n4 V; p6 X( c: H1 e) m}

///<summary>
/// Calculate path length represented by the specified chromosome
' p; B' ^% x: e0 B/ }///</summary>
2 g9 D- o4 t7 ?- d( a. G! g' qpublicdouble PathLength(IChromosome chromosome)
{
// salesman path
ushort[] path = ((PermutationChromosome)chromosome).Value;

" @/ v2 K) ~  d// check path size
$ Z( s6 V3 ?( u$ d, e/ B0 [7 Yif (path.Length != map.GetLength(0))
{
thrownew ArgumentException("Invalid path specified - not all cities are visited");
+ u/ b! U1 z, M) t' s% d% A}
/ a( h& R- e4 H& L- _, z. |
// path length
int prev = path[0];
int curr = path[path.Length -1];

// calculate distance between the last and the first city
0 }4 ~- \. g4 Vdouble dx = map[curr, 0] - map[prev, 0];
/ p. n* Q2 U$ g: s  `double dy = map[curr, 1] - map[prev, 1];
double pathLength = Math.Sqrt(dx * dx + dy * dy);
8 e$ E/ u  o* z% b
// calculate the path length from the first city to the last
for (int i =1, n = path.Length; i < n; i++)
- A" w/ e  ?2 U) @{
// get current city
  i4 n/ X5 G4 P7 S  @$ ~curr = path;
4 S1 k9 H' G" j) U$ b; M7 w5 j
+ q0 e4 @9 ~: n  c7 I/ v! n7 a& `& k// calculate distance
dx = map[curr, 0] - map[prev, 0];
dy = map[curr, 1] - map[prev, 1];
9 v! B3 b& L* X! @/ s  r, g. upathLength += Math.Sqrt(dx * dx + dy * dy);

& ]( `4 k; g, T6 r/ b// put current city as previous
prev = curr;
}

return pathLength;
}
}
. W; u( t4 N! _- K}
% l! p6 Z' P4 O8 Y- K1 s

& ?# V& o. E0 |5 m* ^: P5 w, I[url=][/url]
. H8 j, Q; u. b. w- i
) q) o: ]. L& y5 P* W
, W1 E# _- F  s$ P" \

   (5) 添加GenticTSP.cs，加入如下代码：

8 L) w7 N* O& k: P, F[url=][/url]
9 D- \/ @4 v" e7 c# qGenticTSP类using System;
2 X# u# k6 v6 }+ A- \4 v2 A6 Dusing System.Collections.Generic;
! m0 J, K) e6 l5 j$ lusing System.Linq;
using System.Text;
+ @/ u& t( i! M4 kusing System.IO;

using AForge;
, H9 N! z0 o- s) }6 @- P) |- H5 Lusing AForge.Genetic;
6 s9 Q* S. F8 D; G, ~

8 \' k9 r% B- A) K4 D0 |( |1 Enamespace GenticTSP
) y2 A8 o7 C" e* _, B! x9 Q{
class GenticTSP
{

staticvoid Main()
- {5 G. d: I1 _, e* O{
StreamReader reader =new StreamReader("Data.txt");
' q& W' e& C, r/ s+ w# F, P$ m( g
int citiesCount =31; //城市数

int[,] map =newint[citiesCount, 2];
& a' G9 F7 o6 [5 n! A) ?/ c
  e8 j: E; p& L5 A4 I1 b* mfor (int i =0; i < citiesCount; i++)
' V2 t* i0 Q4 \' r{
string value = reader.ReadLine();
string[] temp = value.Split('');
map[i, 0] =int.Parse(temp[0]); //读取城市坐标
map[i, 1] =int.Parse(temp[1]);
}

// create fitness function
- I- B* q" {$ t/ y, h) Q3 ]TSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);

int populationSize = 1000; //种群最大规模
# |- U! h' y1 a8 a5 `
/*
% s1 J+ \$ F3 ?2 c; ~4 m+ ^0 c* 0：EliteSelection算法
* 1：RankSelection算法
3 Y3 I0 V0 I2 h* 其他：RouletteWheelSelection 算法
0 y0 I: ~  `$ `/ \. s; N* */
int selectionMethod =0;

// create population
Population population =new Population(populationSize,
: K& `' J/ ~" Xnew PermutationChromosome(citiesCount),
6 M3 @7 A3 S- D- |9 hfitnessFunction,
(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
' A& \* V4 ], V: F9 y- s(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
(ISelectionMethod)new RouletteWheelSelection()
( {9 C) a( g3 g, u9 u' s);
9 f1 q) ?. F3 a5 g! T
3 y0 u  k5 b% f" u' ~0 F7 m// iterations
int iter =1;
5 b* x) z8 n  J- d8 K4 {int iterations =5000; //迭代最大周期

8 c" V4 X0 p* f( C" A2 {/ S// loop
9 w% ~. m+ V4 ]) y* ~3 B7 wwhile (iter < iterations)
; r* r, D7 G" K# d' m$ u2 w3 T{
// run one epoch of genetic algorithm
# Q9 p) J  U1 x/ R1 z3 Qpopulation.RunEpoch();

// increase current iteration
iter++;
* S+ G$ J3 w" A; E$ s}
# c# i8 |5 E8 f) V1 h% `
5 J, s' A& t) V" `; }; D% `System.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
5 ?7 J2 ^2 e* b6 m. _* USystem.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
% @, Y/ h7 V2 p9 s0 ASystem.Console.Read();

}
}
}
1 {- k, J1 `# r

[url=][/url]
+ P, M: l! N4 s5 v6 \+ c

" I4 x. a  j( X& Z8 S

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

  l0 B$ {/ ]0 n5 o2 l- `1 q' R; u+ D7 d