【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏
# n, G  o) Z: H6 L) C" Z
3 K% a' [  l% w

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

) ]& H3 ?: K6 s5 b1 M0 p) V+ e

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

　　遗传算法有3个最基本的操作：选择，交叉，变异。

4 [" x( C: \6 Y1 o' A

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

3 D) R& p2 [4 \2 E1 s[url=][/url]
轮盘赌算法/*
. z& V6 ~) i2 c7 @$ G+ Z% g; x  I: S. P* 按设定的概率，随机选中一个个体
* P表示第i个个体被选中的概率
*/
3 g5 k6 c/ [- L' Qint RWS()
5 U; r+ C  [) `- O; o+ r{
m =0;
, p4 k; W  s. tr =Random(0,1); //r为0至1的随机数
for(i=1;i<=N; i++)
0 W1 y: M8 ~- ?! |# `% h# X) D6 D{
/* 产生的随机数在m~m+P间则认为选中了i
/ b1 E7 j) D; A6 X% ^* 因此i被选中的概率是P
5 \6 N; B- w# U2 n" P1 E* U*/
m = m + P;
if(r<=m) return i;
* ]0 ?- t1 u3 U! |2 i0 q}
}
  ?6 a8 r( r8 s
[url=][/url]

" w; }% y' O1 C
& a0 y% i& M% ], ]% Y: {: Z

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

. d" l/ q! t. y7 L2 O
三.基本遗传算法的伪代码
" L$ T; J: a) e
- Y, O, [. V. h; {; _2 J7 |[url=][/url]
; n- u6 p2 p6 S基本遗传算法伪代码/*
, @+ u* B: c* U4 `1 r! G9 b* Pc：交叉发生的概率
* Pm：变异发生的概率
* M：种群规模
* G：终止进化的代数
* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
*/
初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop
9 }$ e; P* C' y" n9 y6 n' I, ~
do
{
+ c) `% ]) ]% Y* {0 {5 p　　计算种群Pop中每一个体的适应度F(i)。
. F& G  v2 o  d( Y2 Z* Y5 C　　初始化空种群newPop
　　do
- E+ _' N( a3 h9 ?. |2 i; t! l　　{
　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
, m7 ?# ~% t8 B* g　　　　if ( random ( 0 , 1 ) < Pc )
　　　　{
2 K/ O& p, A# a2 ~+ W　　　　　　对2个个体按交叉概率Pc执行交叉操作
, N' f& U- y: J- R( I: B/ E　　　　}
) _* n6 j$ {  s8 r　　　　if ( random ( 0 , 1 ) < Pm )
　　　　{
  T0 n9 S/ A5 J9 z3 L4 N　　　　　　对2个个体按变异概率Pm执行变异操作
　　　　}
将2个新个体加入种群newPop中
% e0 @+ ~% H2 z% I% j! ]2 U0 x( D} until ( M个子代被创建 )
用newPop取代Pop
}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )

0 \" d- O* K9 t* J  C7 c  e
[url=][/url]

, t! J. v7 s4 m% L; G. X

( s  @* P/ O$ M四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

( D: V. E/ ^- z3 I! n& ~1 h

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

% ]( t* K6 f0 P9 H! h1 H& w

图1. AForge.Genetic的类图

' T1 r4 [6 ^' L9 S# I2 i: v: a

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

[url=][/url]
. K/ E7 u8 E# T3 p13042312
* W7 I) o2 [; n0 }1 ?* e. U% b4 ?36391315
41772244
% ~4 ~/ \+ P7 p5 v* U/ F37121399
$ s$ @% ]3 Z  L# e34881535
33261556
% k' |/ w2 \: [& L: s; }% l0 F32381229
41961004
  W  U" k6 C+ M: T8 Z1 h2 T4312790
/ @' a: \+ N, n( x* t+ u2 F  C4386570
& g2 `9 x  Q" o6 U0 z- l30071970
6 q8 {2 W8 I7 q25621756
6 L+ K& }; W$ D0 _( @9 w27881491
23811676
* X7 f# j4 q7 O* Z& h: t" j1332695
37151678
  s4 B2 ~; [9 n39182179
40612370
37802212
36762578
40292838
42632931
34291908
35072367
9 F' r. B; n- [# a! A33942643
1 e- j7 p, G8 q+ I7 M4 H: c: n+ T34393201
29353240
31403550
25452357
! B8 A. Z8 u2 V7 r27782826
* ~# c  X. x; D23702975
/ @: \# ]# F8 \2 G% u[url=][/url]
0 m" }& u- H, Z& n/ P

+ N" R  W- M& y2 ]

4 R% D8 I8 p4 @' N" s% |

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

[url=][/url]
TSPFitnessFunction类using System;
/ |6 r/ O% F5 ~1 r  gusing AForge.Genetic;
$ t" D; l6 q7 x
( g$ b% `  }: E9 K& unamespace GenticTSP
{
; _' A& j2 }- F0 o8 ^/ e! a& ~2 U///<summary>
7 o4 g1 s) F, u# r3 C* C/// Fitness function for TSP task (Travaling Salasman Problem)
6 N; ~# y0 Z0 ?, j/ y7 S///</summary>
% n- a9 g9 m9 ?1 w& V5 kpublicclass TSPFitnessFunction : IFitnessFunction
{
// map
* x) U+ g% q9 I8 Xprivateint[,] map =null;

8 l; V, F$ ]; s1 X// Constructor
% C; O& M: c# o" X. f6 d. D. ~1 y2 {public TSPFitnessFunction(int[,] map)
{
! b# z& |1 }: ?3 Q) B: z* c9 Athis.map = map;
}
& i+ s2 _2 N5 G  s. d2 Q+ b
///<summary>
/// Evaluate chromosome - calculates its fitness value
///</summary>
publicdouble Evaluate(IChromosome chromosome)
4 q; U6 T  I: `! r& f8 @7 b, c# D{
return1/ (PathLength(chromosome) +1);
}
9 Z; t4 {6 }) t6 w" X5 {0 g- S
4 U" m) A  @7 D, i" G///<summary>
0 g3 Z0 n: @6 g2 K/// Translate genotype to phenotype
& s- r* g. Y8 r% I///</summary>
, n% d% o7 t8 f* n) L7 k+ I6 Tpublicobject Translate(IChromosome chromosome)
{
8 f' B' k! |' g4 B) X/ V  V# Vreturn chromosome.ToString();
' a& K/ h  [8 w) q}
, Y0 C1 U0 G( A/ M. D% ^/ n, x9 p
///<summary>
/// Calculate path length represented by the specified chromosome
///</summary>
& _; S+ v1 N! ]3 v. Hpublicdouble PathLength(IChromosome chromosome)
/ ^2 K* @3 u6 f4 b! T/ D5 }- M' @+ Z{
" t/ r2 p  F6 C" Y// salesman path
7 ?9 M( U' b& `7 N. F4 o5 lushort[] path = ((PermutationChromosome)chromosome).Value;

/ M5 K5 U8 Z. s// check path size
if (path.Length != map.GetLength(0))
{
( N# h- Y/ I& C, O) @9 nthrownew ArgumentException("Invalid path specified - not all cities are visited");
( b6 x$ w% R3 B5 r8 r" D: u( w}

// path length
* e5 q! L2 |  _0 E% j  W) Q0 k" R, aint prev = path[0];
int curr = path[path.Length -1];
+ R1 }$ S# |& r3 R+ P3 ~
// calculate distance between the last and the first city
double dx = map[curr, 0] - map[prev, 0];
' k6 c/ F! ^% A, z1 D! odouble dy = map[curr, 1] - map[prev, 1];
double pathLength = Math.Sqrt(dx * dx + dy * dy);
" P" n7 ~# K: z2 M
// calculate the path length from the first city to the last
for (int i =1, n = path.Length; i < n; i++)
{
7 @( w: v) j2 l& K! `// get current city
curr = path;

// calculate distance
dx = map[curr, 0] - map[prev, 0];
dy = map[curr, 1] - map[prev, 1];
" f+ g) R3 |) A$ k* }+ wpathLength += Math.Sqrt(dx * dx + dy * dy);
1 X* p9 X' O  l; \6 h1 l: `( J3 l' `
// put current city as previous
prev = curr;
}
$ B3 s. y9 A# F0 G
8 @- g. R7 D. G. L7 \7 a1 zreturn pathLength;
}
3 ]2 T. h+ _3 W! H9 o: o( a6 F0 K}
, {& f5 X$ V9 J" f}

* p5 g* Y0 A- w6 M$ ]3 K! [
[url=][/url]
$ @% e* O+ @: ?( k) [

   (5) 添加GenticTSP.cs，加入如下代码：

! H1 {% v! }/ v. d4 Y[url=][/url]
# g6 Q0 Y$ E2 G4 C7 I1 N! D, yGenticTSP类using System;
using System.Collections.Generic;
& b) }5 ?; F4 ?5 r( b/ d; f4 a7 Qusing System.Linq;
2 |+ N0 r, J3 P! A) y# j# dusing System.Text;
using System.IO;
' @$ @; H" x* w9 G
using AForge;
using AForge.Genetic;

0 {; _6 E, g% [' V# @9 Y' O
namespace GenticTSP
$ j' q) O0 U8 h+ w& ^& |- L/ ^+ x{
class GenticTSP
0 _8 Q7 r8 q6 r{

staticvoid Main()
" j  C; E0 b) W# F: q{
StreamReader reader =new StreamReader("Data.txt");

int citiesCount =31; //城市数
3 N) m0 U" n& l$ s4 C% n& c: n! `
int[,] map =newint[citiesCount, 2];
6 F# }5 A; {9 y9 }5 J8 V. A5 }
: w# W4 h6 ?* F0 U( gfor (int i =0; i < citiesCount; i++)
{
6 K- Y% I, G2 x" T% Fstring value = reader.ReadLine();
string[] temp = value.Split('');
& h  G( J$ d* |# mmap[i, 0] =int.Parse(temp[0]); //读取城市坐标
map[i, 1] =int.Parse(temp[1]);
}
1 C" W8 ]; p1 o1 Q
// create fitness function
TSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);
; g( n2 J4 ~' d4 H# K# }$ k
! q2 `  K( A% |  Bint populationSize = 1000; //种群最大规模

7 l  `, y, e. r/*
* 0：EliteSelection算法
* 1：RankSelection算法
. c6 e9 M9 F0 |! T5 t. X0 v+ H* 其他：RouletteWheelSelection 算法
* */
" ]& x8 y2 o7 ]int selectionMethod =0;
6 p, Q& r& ~7 j8 O1 o& w; m- M
// create population
. @4 g( I' d5 d+ dPopulation population =new Population(populationSize,
new PermutationChromosome(citiesCount),
fitnessFunction,
(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
. a; B* W. j$ i" |) i6 l(ISelectionMethod)new RouletteWheelSelection()
);
* {; c! x' X% j! z; @# W# D" y6 }
// iterations
7 ]6 a' w8 w0 `int iter =1;
9 s8 f$ o4 ?: y5 W% Uint iterations =5000; //迭代最大周期
0 p2 V% x0 |! o. I
// loop
while (iter < iterations)
- Y1 E% z* T. O{
// run one epoch of genetic algorithm
# V+ J3 D7 ]7 E$ W6 k6 b" {population.RunEpoch();

// increase current iteration
iter++;
" x, z' d8 U) ?! D5 d1 U}

5 U6 k2 r7 S& tSystem.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
! U% G* K) y: B, {0 e" T2 s& DSystem.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
System.Console.Read();

}
4 o/ K5 `9 @" P$ q3 m! ^8 ~/ {}
1 p) Z) ^# T% j# u8 u}


2 S/ d; H; I. a8 M[url=][/url]
, R' [; e6 P' K) A  H; }; X. s# R
! N5 f0 M( H& e1 g( B. m% [
7 x+ F: _* d, D  q$ J

  a& L7 y) K  c. J' k

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

/ f8 ?+ n1 n+ p& j, M5 F

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算