【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏
2 v2 ^3 X- |( V
) P5 m# Z" J! L, G

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

2 y1 o, b+ I- {; P% w, m. @& w! i
一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

* X0 t0 D# e( Z% ]/ h3 K) _1 B

　　遗传算法有3个最基本的操作：选择，交叉，变异。

: N4 D5 n$ E& c7 ?/ {8 G, l

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

[url=][/url]
$ o( B9 k2 _% `8 g轮盘赌算法/*
* ]' a1 @# m. W  p% X* 按设定的概率，随机选中一个个体
* P表示第i个个体被选中的概率
*/
' g  h6 \- [9 rint RWS()
4 P4 u  V" A' T5 K+ W" c% M/ {! R{
m =0;
r =Random(0,1); //r为0至1的随机数
for(i=1;i<=N; i++)
( Z. ^0 n. o8 j- n# ^1 h; ]{
! `  x  \8 B5 p8 ^/* 产生的随机数在m~m+P间则认为选中了i
* 因此i被选中的概率是P
*/
& t6 B8 _: j0 ?( E4 m5 |+ [m = m + P;
" W1 z! [" ?/ c% Rif(r<=m) return i;
( L6 j/ w! M$ p. _0 E9 r}
/ s1 z" j/ ?% ?, N}

[url=][/url]


% f/ S3 B* b& N) ~7 x

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

' F8 z' ]9 j. J9 D1 I  \9 u5 u

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

0 I- @2 X5 R5 f1 ]% [三.基本遗传算法的伪代码

' L( i# J. A. r) [* u[url=][/url]
基本遗传算法伪代码/*
" D& N3 c# V  A2 n* Pc：交叉发生的概率
; q/ E& k0 f% o& P# M- U* Pm：变异发生的概率
* M：种群规模
* G：终止进化的代数
1 C5 V0 S$ V6 S8 a" j- A* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
*/
( Q8 U7 k" |  A初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop
5 p; ?% F" t  s5 p6 o
do
{
1 C* I; S2 B, Y/ A　　计算种群Pop中每一个体的适应度F(i)。
! `: M9 n/ ]! D" q: K　　初始化空种群newPop
　　do
. x) `) [+ ^5 l　　{
: J# p! x% Q! L7 m2 u　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
　　　　if ( random ( 0 , 1 ) < Pc )
　　　　{
　　　　　　对2个个体按交叉概率Pc执行交叉操作
/ ?$ H3 f2 i/ K7 K　　　　}
  M) }4 L# ^, `5 c" ^$ v6 Y3 M! w　　　　if ( random ( 0 , 1 ) < Pm )
4 Z) A. @" n4 A　　　　{
  L% W3 `* N( u　　　　　　对2个个体按变异概率Pm执行变异操作
5 g7 c3 v0 J0 _6 V0 M0 y　　　　}
将2个新个体加入种群newPop中
* a1 k0 S7 s. M& ], x} until ( M个子代被创建 )
" u( [. \/ g; B- M用newPop取代Pop
$ I4 N! k( g, ]  c: P: ^}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )

" B6 A) p: @$ s
. Z7 R+ Q# f/ c* m[url=][/url]

9 A: t% E7 O' u& C  z- }

四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

! n+ a% v& ^1 L. \

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

图1. AForge.Genetic的类图

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

$ x! k$ d; r) c- u[url=][/url]
. Z! |: k- G/ J# L/ m13042312
36391315
; B% b" h8 h& Z0 ?7 L41772244
  N% G. i1 l$ f$ c) u! {3 Z37121399
" N5 U" l  V* J6 r+ T% a34881535
33261556
32381229
8 E6 A8 E% ]0 u' c6 n, c9 x41961004
4312790
4386570
30071970
25621756
27881491
& H3 m. r8 S/ w* P5 ^23811676
1332695
37151678
39182179
" f4 P. u1 X* ^, I8 Z40612370
37802212
9 v9 x+ z: N" a5 A% N9 U2 x36762578
7 M! C; t" r, o40292838
42632931
34291908
% k. c* G7 b! i& B8 A% U35072367
4 Y0 W) h# c5 s# |, f, M' Q33942643
7 w6 j. Y8 P4 g! W! t6 o34393201
/ p5 _+ A6 x( }! I1 ^+ n29353240
31403550
# j0 E4 K4 n+ m25452357
27782826
9 b  ]- g$ x. \23702975
3 }  W! W9 ]) G1 ]( N[url=][/url]
6 L! n8 M8 ]3 W* q# K

) i: U9 e+ g5 `( t4 w

$ V: e0 H( d# ?

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

[url=][/url]
( ~9 l  t- G1 c& P/ s' e$ WTSPFitnessFunction类using System;
using AForge.Genetic;
2 P. T( B) X( X: Q1 O
3 ]8 B" U9 Q! J$ L- a! qnamespace GenticTSP
{
///<summary>
9 a5 @) G) w: h* c$ G/// Fitness function for TSP task (Travaling Salasman Problem)
///</summary>
# q$ j/ n* q2 {% m/ k" Lpublicclass TSPFitnessFunction : IFitnessFunction
{
4 H, W0 A6 m, j, @9 o: f3 p. E// map
privateint[,] map =null;

// Constructor
public TSPFitnessFunction(int[,] map)
{
- E4 W% n2 K8 D+ c1 ythis.map = map;
: w$ ~7 B* ~4 L2 i' v}

$ k1 `' T7 o2 N, I( @$ J///<summary>
/// Evaluate chromosome - calculates its fitness value
( j' f; @; V7 E" `; ?5 G; r///</summary>
publicdouble Evaluate(IChromosome chromosome)
{
return1/ (PathLength(chromosome) +1);
  X' |" v' i, A}

///<summary>
/// Translate genotype to phenotype
5 O; B( m: h7 ~///</summary>
publicobject Translate(IChromosome chromosome)
) k# \7 v, |: c8 {" v; s& [{
; d1 T. h" G3 H; G2 D! ?# l! k4 yreturn chromosome.ToString();
}
  G& T! [) y3 M0 z- I$ r
- C  j7 k0 g6 w, x! f///<summary>
) p3 s" w4 l% {" T% c( y/// Calculate path length represented by the specified chromosome
, m  z% y) i' K8 G" G4 N1 |7 s1 r/ c* N///</summary>
" I% q; _3 j9 Q4 Ypublicdouble PathLength(IChromosome chromosome)
4 E, s  m2 d& X{
// salesman path
6 z( d/ _8 h" z) B) P2 }ushort[] path = ((PermutationChromosome)chromosome).Value;

5 _0 O! p3 ?6 M) K// check path size
if (path.Length != map.GetLength(0))
{
3 L2 k, c- p& @! `thrownew ArgumentException("Invalid path specified - not all cities are visited");
}
8 [4 r+ U; X5 ]& T: p1 [" d
// path length
5 W- r! p( F% S/ Z, e/ Eint prev = path[0];
; @0 r) z3 j+ i; Xint curr = path[path.Length -1];

// calculate distance between the last and the first city
" e, \/ }; \) A( Kdouble dx = map[curr, 0] - map[prev, 0];
3 T6 s/ x$ }$ L) P4 v$ odouble dy = map[curr, 1] - map[prev, 1];
double pathLength = Math.Sqrt(dx * dx + dy * dy);

// calculate the path length from the first city to the last
for (int i =1, n = path.Length; i < n; i++)
{
// get current city
9 r) d+ o( g) i' r- K& H7 wcurr = path;

// calculate distance
: f) x% W4 C- Y9 y0 jdx = map[curr, 0] - map[prev, 0];
dy = map[curr, 1] - map[prev, 1];
6 ^4 Y3 ]6 {, U8 y) FpathLength += Math.Sqrt(dx * dx + dy * dy);
$ F* H1 r2 Q2 z# {
! f- Q% |2 a  X* [4 x6 y- _* w$ w// put current city as previous
prev = curr;
' u; F4 m5 S. y2 r: U2 ]% i}
( g. Q4 X2 I3 D+ E
return pathLength;
}
}
+ ]1 B. J; R% _5 e) W}


  L2 R  u1 w$ a( s[url=][/url]
% V* P% o; }7 A& `
, x* c4 }6 k8 @/ s

+ j2 l! Q3 F9 r( _, A7 |6 f2 p7 v; n# ~

   (5) 添加GenticTSP.cs，加入如下代码：

[url=][/url]
GenticTSP类using System;
5 X% ^5 W& _" ^2 X3 J& _  J0 @; |using System.Collections.Generic;
using System.Linq;
5 s) N/ o8 k0 m4 w: ]% \+ _using System.Text;
using System.IO;
' [: ^4 ]  `. V# {5 s
using AForge;
. }" D9 M1 k) {4 Nusing AForge.Genetic;
+ Q; s1 g; U$ l9 a0 `
5 Q  l# W  b/ r
namespace GenticTSP
" |$ S' u$ ~' q- R! c# J/ c{
1 W" R/ g1 R; N' ^* fclass GenticTSP
, }  d/ G2 p8 h3 ?# J{

staticvoid Main()
{
StreamReader reader =new StreamReader("Data.txt");
1 E9 o. J8 R6 v% d  _
/ _, J/ A6 [2 e& h# B9 h( Zint citiesCount =31; //城市数

int[,] map =newint[citiesCount, 2];

7 M" R, k* t5 i" ^$ ^2 ofor (int i =0; i < citiesCount; i++)
{
string value = reader.ReadLine();
( v: j. q/ t# }: H5 P1 Bstring[] temp = value.Split('');
map[i, 0] =int.Parse(temp[0]); //读取城市坐标
/ i3 S5 N* i' Q  }& `map[i, 1] =int.Parse(temp[1]);
  m2 ?  @( Y& @/ s" N7 w! }+ \}
5 }1 Q' K+ S7 m5 b1 \
( G( c- z5 Z5 c4 o9 a; k4 f// create fitness function
& p% f$ s$ N  F* N5 r& hTSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);

int populationSize = 1000; //种群最大规模
2 d/ a$ |) Q( p' ?+ M
  Z- A0 K" v8 }) A/*
* 0：EliteSelection算法
/ w# R+ B: X+ M+ h; f* 1：RankSelection算法
* 其他：RouletteWheelSelection 算法
, \7 V3 i' y) R. g* */
int selectionMethod =0;

// create population
Population population =new Population(populationSize,
# z  A% D& }, U" D5 C3 b8 q3 }new PermutationChromosome(citiesCount),
fitnessFunction,
% G- C6 ]* z! F6 u  j(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
6 `, v6 A' x) T/ B" j(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
(ISelectionMethod)new RouletteWheelSelection()
);

2 {: ?" f. p9 B6 J// iterations
int iter =1;
/ y) ^( f$ V# D+ \9 S% {+ E4 mint iterations =5000; //迭代最大周期

. c+ R) o5 z  x: n, R% L) U. m// loop
* W9 n" h. D% ]; Owhile (iter < iterations)
{
// run one epoch of genetic algorithm
population.RunEpoch();
3 q1 A! L1 J" a
+ t5 r8 J1 K' X& E! L5 O5 M: J$ w// increase current iteration
$ ~: t" @: {8 Q' g( niter++;
}
5 f6 H3 C1 Y2 ?- S1 {, ?: }# y: P
System.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
: _! S1 Q9 v) a" ?) Z  ~4 aSystem.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
- J6 ?) H% G6 F; ~$ ^System.Console.Read();
$ I9 T4 ^- N, K0 P, P
9 b2 r1 ?  V8 ~# ^6 r& m8 }}
3 A- w8 X3 C* H- E0 c" p8 Y}
}


[url=][/url]
& k/ Y' Z2 C7 q0 l
! G5 ?8 S5 U3 k5 K
% F4 v9 p, n5 Y$ ]3 ~# k
0 w- r9 _0 S1 t2 H" W- ^
5 m! v; X, |7 I( U! {) l

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

' d* b7 y4 c' @5 y, o

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

* _. S* Z$ K4 N( v& w' @2 E