【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

; M: L3 r3 M4 y! k
0 q: e5 `- m- n9 N' b一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

, P' r- [/ ^( @% Z6 N% o$ r" R

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

( R- B. F% U" [, `6 g二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

　　遗传算法有3个最基本的操作：选择，交叉，变异。

2 _8 w( h; g! {4 x" d2 c

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

3 O( x3 L% a4 |0 f/ T! b2 d. g[url=][/url]
0 B7 \$ ~9 z: c3 Y$ ^轮盘赌算法/*
+ Y! k1 f  a& \5 O5 N5 s4 G) C* 按设定的概率，随机选中一个个体
/ S0 u! ^7 w7 T4 M- p+ [* N& \* P表示第i个个体被选中的概率
( Q* w3 g; @3 K! z' a7 B) v4 @*/
1 ?7 y* V8 ~& D% U/ {int RWS()
{
% N* v: v& j  K. C4 g# x6 Em =0;
5 ^# M; ~9 \  \( J" A# R$ Wr =Random(0,1); //r为0至1的随机数
1 P  S+ X2 C6 @. [4 _& l1 L1 ufor(i=1;i<=N; i++)
{
+ H* z( c$ B2 b' t/* 产生的随机数在m~m+P间则认为选中了i
* 因此i被选中的概率是P
*/
& b9 n) a6 _  [9 X5 B( Om = m + P;
. f0 D+ }9 Z* G8 s  @' D  _if(r<=m) return i;
6 X6 |8 ^9 L" N$ Q$ D3 q7 g) w5 r5 |% ~}
  O' {- q. R  b% Z}

[url=][/url]
2 A0 n9 A! g- [* Y' t/ ?

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

三.基本遗传算法的伪代码

[url=][/url]
" a. U, f  Z% h- _. U基本遗传算法伪代码/*
6 U6 B2 x, q/ o" }# ]* Pc：交叉发生的概率
& v; B8 m# {' V+ R) w, o5 F* Pm：变异发生的概率
* M：种群规模
* G：终止进化的代数
* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
*/
% T* n; A$ \2 \# V) W初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop
4 ?& D4 g" E3 H3 H6 V
/ ]2 Y3 b4 B6 ]" s0 X6 Hdo
{
& @4 L4 ]9 _- |' j; M/ @　　计算种群Pop中每一个体的适应度F(i)。
　　初始化空种群newPop
( F- r8 ?' W- X# _3 F+ k　　do
9 T& J( ~4 ?0 H1 P　　{
　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
　　　　if ( random ( 0 , 1 ) < Pc )
　　　　{
　　　　　　对2个个体按交叉概率Pc执行交叉操作
　　　　}
4 f& o0 _3 ?+ E* V" ^　　　　if ( random ( 0 , 1 ) < Pm )
) y7 P9 {4 @8 A  L3 i/ U　　　　{
　　　　　　对2个个体按变异概率Pm执行变异操作
　　　　}
5 E" y6 t4 ]6 Z: ~6 J  `7 r' [* u将2个新个体加入种群newPop中
} until ( M个子代被创建 )
用newPop取代Pop
}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )

. O' d  B. C- S  M" f* P" d# M
[url=][/url]


: w, J6 Y* F0 i( M" b" G
3 E/ E7 i6 b3 N: T% g# q四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

: k! J8 J) O0 S* \3 Q1 H5 ^

图1. AForge.Genetic的类图

2 M( T7 m- ?9 M8 V. Z4 L0 k

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

[url=][/url]
0 m6 A+ x( D0 L- B6 Y" k* F13042312
8 x% w0 D) `. d- E# G+ V36391315
1 u# e- C. v3 S) X; D% U41772244
; @: S2 y5 c1 t$ z- b% o. q37121399
7 `: O; |, ^* o; R" {# x0 o. D34881535
33261556
0 A) ?, J5 E8 w# G( J1 p32381229
+ w& e( @  }6 e& P41961004
4312790
8 _, ^* E! b$ u# E4386570
1 k' q! k% ~2 x# G2 K7 B# e30071970
25621756
27881491
23811676
1332695
4 b1 p7 S+ }7 }/ R37151678
39182179
40612370
4 d1 `, J- ^' ~2 B# F37802212
36762578
; y1 p1 G8 w4 W% {: y4 P. o40292838
42632931
3 @0 `" S1 H3 w! t; u1 P5 `- k34291908
35072367
0 I5 `6 U% w, Q& ^9 i33942643
34393201
29353240
31403550
. M) u2 u8 D& ?+ {( o* q; p! X25452357
27782826
- L2 x0 _+ P% W! c$ z6 F23702975
[url=][/url]
, G3 U# j6 L) [8 h- T9 D6 [8 h
" `* V8 s* n8 z/ W; D1 F+ s9 b
7 j  X% D/ R1 R# @. @- m4 ~

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

[url=][/url]
TSPFitnessFunction类using System;
1 z$ n% W6 ~/ d& r+ Gusing AForge.Genetic;
; c# K; j( b) Z9 w
: T# Z) J+ A1 _/ _+ A) Mnamespace GenticTSP
{
+ e" X6 j: I# v" }///<summary>
/// Fitness function for TSP task (Travaling Salasman Problem)
3 P  J, b2 V# a, r///</summary>
; u5 h  r# t7 |% X$ l1 dpublicclass TSPFitnessFunction : IFitnessFunction
, x$ X0 l- u2 q+ M: |% g5 `5 l{
// map
! x) X0 ?6 G" W& e- vprivateint[,] map =null;

// Constructor
$ X5 {6 C% I$ D* t- c& O: G6 lpublic TSPFitnessFunction(int[,] map)
$ }: P0 X/ u8 W& F  g{
; T; F( b  A2 x; E/ Dthis.map = map;
3 `$ k5 e1 E( d0 B) x' t# h+ H}

/ n( _6 T' I3 `/ ]///<summary>
/// Evaluate chromosome - calculates its fitness value
///</summary>
publicdouble Evaluate(IChromosome chromosome)
6 H, |  z& }. d3 z{
* U( k: `4 t! t: ireturn1/ (PathLength(chromosome) +1);
}
0 q: z5 K5 o$ v9 Q2 }0 ^7 C
///<summary>
# X' ^1 V+ U1 N( b/ w+ h) G/// Translate genotype to phenotype
3 t4 A8 W7 u: E2 ]///</summary>
publicobject Translate(IChromosome chromosome)
{
( B& l0 e. d' D- areturn chromosome.ToString();
}

///<summary>
/// Calculate path length represented by the specified chromosome
///</summary>
publicdouble PathLength(IChromosome chromosome)
{
) |) {4 x5 ]/ K$ i- X% E. F- w0 r// salesman path
% p2 K* I% }/ ~ushort[] path = ((PermutationChromosome)chromosome).Value;

# }; i8 P9 D$ I: i0 _8 c, f3 o# H' @// check path size
" b" |( W2 j0 `' h% B7 `if (path.Length != map.GetLength(0))
2 \. {% D( v. v3 {  y. W1 `5 l{
thrownew ArgumentException("Invalid path specified - not all cities are visited");
/ o2 L7 I* W: x) ~( p}

// path length
3 g4 w0 W7 s. a9 ]. P% i- @5 Lint prev = path[0];
5 Z6 T* d! S' n/ ^# n, p9 tint curr = path[path.Length -1];
+ X4 I5 J2 A, @& X
; k# M9 H6 a, y4 e2 ^6 D& w// calculate distance between the last and the first city
/ L" Q8 |6 ~4 [) ldouble dx = map[curr, 0] - map[prev, 0];
: |# B& Q; u: |) v! B, Mdouble dy = map[curr, 1] - map[prev, 1];
; j4 e) `& f' V+ p! ~: Mdouble pathLength = Math.Sqrt(dx * dx + dy * dy);

// calculate the path length from the first city to the last
; v. E+ d; Q' `3 afor (int i =1, n = path.Length; i < n; i++)
{
" X6 j1 q; T$ r// get current city
curr = path;

// calculate distance
dx = map[curr, 0] - map[prev, 0];
3 p5 |  |' h7 r- W2 Xdy = map[curr, 1] - map[prev, 1];
+ l2 S" {1 }  ?3 MpathLength += Math.Sqrt(dx * dx + dy * dy);

+ Q' ?3 ]/ S7 e// put current city as previous
prev = curr;
}
/ i2 M9 G1 b( h  x/ A
1 t- B2 L0 F( O# b1 j- Wreturn pathLength;
}
}
}
' w& T! @5 y# v; C* _& I

1 {8 Y9 E, M7 l3 l  s[url=][/url]


/ v- S* U& _8 k5 |' F) s: U
6 P3 G/ A+ k+ g, e( s) P

   (5) 添加GenticTSP.cs，加入如下代码：

[url=][/url]
GenticTSP类using System;
using System.Collections.Generic;
; C+ D' r  L2 l, K( J4 Q0 yusing System.Linq;
using System.Text;
using System.IO;

using AForge;
9 ]. F: V9 N/ _( j, }7 \& X1 Wusing AForge.Genetic;

! M) L9 b+ X9 |" e$ ?
namespace GenticTSP
{
class GenticTSP
9 C0 z" |0 n$ w2 i4 C2 U' b{

  \; u# _- w/ F; x  cstaticvoid Main()
, q: s. c: C  i1 |0 v2 ?' E/ t# D{
1 b2 d1 S4 u5 E+ O; t% H9 E+ ~StreamReader reader =new StreamReader("Data.txt");
3 {1 {: g* O2 a# u& }+ L9 S
int citiesCount =31; //城市数

; Z0 s5 \* v( D. I; h# L( D# [) M( ^int[,] map =newint[citiesCount, 2];

for (int i =0; i < citiesCount; i++)
) P7 Z( H: g6 P' @2 @; C6 m{
+ y! |2 a4 ^/ ]$ g% N$ A/ R% o7 ~( Zstring value = reader.ReadLine();
0 q# g% y" m5 P' C0 `string[] temp = value.Split('');
map[i, 0] =int.Parse(temp[0]); //读取城市坐标
map[i, 1] =int.Parse(temp[1]);
" g% k8 [6 Y! C. j}

// create fitness function
! ]  _* f; [* ^+ y4 G" E  HTSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);
9 E4 a1 R) f3 `. t
$ M5 R* W' R$ fint populationSize = 1000; //种群最大规模
( y# _4 c0 Y7 \7 I3 y3 S
3 C. \% d5 D2 x; H$ u/*
% Q0 _3 c0 E" b- u1 h( o. Y* 0：EliteSelection算法
/ ^, y( {! Q8 o/ |3 \& ~* 1：RankSelection算法
' o3 }1 ^1 `4 x; D: Y) H) c* 其他：RouletteWheelSelection 算法
* */
* W' b8 S. b9 C$ Wint selectionMethod =0;

# \5 }* Y8 _  r// create population
Population population =new Population(populationSize,
new PermutationChromosome(citiesCount),
3 [1 f2 H' ?' Z; d  p% VfitnessFunction,
(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
/ ~' ?# X5 }% ^, h3 R(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
(ISelectionMethod)new RouletteWheelSelection()
: O) N3 m" W: u2 w1 }* F( ?3 T);
$ }% {# G0 i' ?; O
  [/ @) w$ D+ k// iterations
int iter =1;
; p' {% `' o' O2 I6 }5 W/ C9 q' eint iterations =5000; //迭代最大周期

+ L0 Y) ~/ p, P& H; K// loop
  L. j  M+ A) Q. s+ Mwhile (iter < iterations)
$ W3 g" R8 S9 E{
// run one epoch of genetic algorithm
" K& Q4 [# H1 t2 {- Q4 Epopulation.RunEpoch();
9 @5 [8 D  d& M$ ~3 F& {/ `( z: t  x
/ Y* L: Y' ?4 E// increase current iteration
- \1 O" P( s8 }& v* `, z& h0 q( eiter++;
}

System.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
$ ]! T9 t! o) O: hSystem.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
System.Console.Read();
* R; E. X* J3 t$ f
}
}
}
* o9 W# P, m! H4 ~2 I' Z

[url=][/url]




: L3 V3 ~" r7 q) E

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

: n# m  J! i- G

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

- l: L$ }4 ~  `0 P
5 r; r3 _. O$ r" g3 P