【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏
. V( y. s5 k5 I! j1 n8 \
* X. f  c! t& z, J& H  G( ]

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

: r# O' x4 N! Q1 f5 x; \$ T一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

$ b& ^3 b. L' V" }% W- }8 e
9 A8 a, C" e) P$ |% V6 H二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

6 p) @0 S* s* k2 V7 F' ~

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

' Q4 C' ~& W& U

　　遗传算法有3个最基本的操作：选择，交叉，变异。

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

[url=][/url]
轮盘赌算法/*
* 按设定的概率，随机选中一个个体
& Z) N; d6 U' `- y1 @0 Z* |* P表示第i个个体被选中的概率
' M8 j3 w% S. a# |5 _( Q- M*/
int RWS()
{
m =0;
4 T  l6 Y: u5 j" B  T1 Xr =Random(0,1); //r为0至1的随机数
$ w! [& }/ u* ?7 K: e8 ffor(i=1;i<=N; i++)
1 h- z6 v( X! k0 }/ K" b: X. O& W8 U' H{
9 z- H$ g- ?( ]9 C' ?; g/* 产生的随机数在m~m+P间则认为选中了i
* 因此i被选中的概率是P
*/
m = m + P;
if(r<=m) return i;
7 \4 L6 |# E* d7 d( G}
& ?  x* e$ A- {* d4 o& M* w5 K}
( l$ r4 E9 t- t! R$ y7 z
[url=][/url]
2 b# m$ v. [2 @( i3 v- }; ?

( b- n0 b1 g$ c3 S

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

& A0 d) d" z1 f1 R, |2 J4 D

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

. R) X+ w- U8 k1 h
三.基本遗传算法的伪代码
) I0 ^0 d" l. I  K8 a
[url=][/url]
# U! T+ t6 q8 @! U: ^/ k7 }基本遗传算法伪代码/*
! b/ b; R1 G" a  M: }* Pc：交叉发生的概率
* Pm：变异发生的概率
1 n! `" A6 e/ J! Z* y# ?* M：种群规模
* G：终止进化的代数
* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
" t; u7 w+ T8 `9 t) w*/
4 K0 B9 p& \7 p2 s初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop
% A( A9 c' R* n) m  m9 I# W% v
do
8 H$ e, v# L8 J. \" P( N  i{
! \+ w( i- K6 d　　计算种群Pop中每一个体的适应度F(i)。
　　初始化空种群newPop
　　do
　　{
$ {; P* d6 ]& J  f　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
　　　　if ( random ( 0 , 1 ) < Pc )
2 I- D% s8 E" x. c　　　　{
　　　　　　对2个个体按交叉概率Pc执行交叉操作
" V5 N. J' J- r9 T6 f* L　　　　}
　　　　if ( random ( 0 , 1 ) < Pm )
　　　　{
, q1 m) o- a3 t4 {4 C: @$ z　　　　　　对2个个体按变异概率Pm执行变异操作
　　　　}
8 D4 d" `4 l  q2 X将2个新个体加入种群newPop中
} until ( M个子代被创建 )
用newPop取代Pop
$ N0 \8 B, b  l& j. x}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )

2 v  v/ E! ~/ v% @+ Q! Z1 N1 K
6 F6 o( D3 p7 z( i& Y+ ^[url=][/url]
. `* X' g. E6 F
! s' ^0 i+ S+ r$ h% n

四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

9 z5 w# _4 ^& n' x! C  x' O

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

图1. AForge.Genetic的类图

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

[url=][/url]
13042312
& l9 m# i* |% l5 s7 W& q8 r36391315
41772244
37121399
34881535
33261556
32381229
" `" V! E3 C; [0 U41961004
4312790
1 I2 X% z5 m+ j" c; h9 A  a4386570
  G! v2 e4 `$ D4 {, j8 z% }& m30071970
( G8 ^9 D9 v' g+ `3 [: _* l25621756
+ c: K  Q2 g: {' D# y/ w27881491
  }4 K) D. c$ Q3 v23811676
1332695
37151678
$ `3 `3 ?& `$ g; q! R. l) k39182179
40612370
37802212
36762578
: v) u3 z4 ^5 P8 r+ V0 ]5 E40292838
42632931
34291908
6 L% q7 \- q5 e) y6 o' [35072367
( P7 c! x  F0 V% d33942643
34393201
3 Y0 ?, C0 T) B- A0 l29353240
31403550
! A5 O, d+ n0 n# }+ H$ a5 {4 f3 l25452357
27782826
8 J+ F; L  ?9 d" |) v  I9 [23702975
' B0 O3 f8 d" v3 s1 [[url=][/url]
' e) E& B' K  i
( h2 `: m& D5 [7 F" Y8 T& A, J


( ~' {& t( s5 x' `1 k

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

/ O4 w, |) J! ^1 u7 A[url=][/url]
  s- ^6 J! ]% V: z- NTSPFitnessFunction类using System;
using AForge.Genetic;

0 h) |4 L: o! c+ W; l9 F0 d% bnamespace GenticTSP
7 W) q5 [9 E0 P, V! H4 n{
7 \4 V7 H- W# {& Q; D0 d///<summary>
1 Z# a  ^5 Y8 m) u* J/// Fitness function for TSP task (Travaling Salasman Problem)
# M1 P( Y6 j. }, ?. ^/ O7 x/ y///</summary>
9 o; Q0 @2 `- z: f* B& f# Vpublicclass TSPFitnessFunction : IFitnessFunction
{
# b  \7 C- P$ M// map
' [6 o: Z) \2 a& l6 J' Q6 V) Eprivateint[,] map =null;
: h! _, W7 i' t0 l  k" w* |
+ B5 ~$ L* R4 A% {6 l8 w// Constructor
public TSPFitnessFunction(int[,] map)
! _4 X9 |6 r4 y: M( J, h9 C8 b" l1 o{
5 T+ _& s; D5 p! B! r+ m% @this.map = map;
! T+ M! Z% P& l1 A3 p& L' @; V, t8 y}

///<summary>
6 z, a9 w! T* H- \" g/// Evaluate chromosome - calculates its fitness value
* U# T2 v1 C. d, ]+ F///</summary>
/ D9 _* f* k* s4 g, ]publicdouble Evaluate(IChromosome chromosome)
{
return1/ (PathLength(chromosome) +1);
}

///<summary>
$ e5 H, \2 O0 n2 B3 v0 }+ d/// Translate genotype to phenotype
///</summary>
publicobject Translate(IChromosome chromosome)
2 r0 F2 F, G! }# n8 q0 g{
return chromosome.ToString();
}

% S' C. h) j6 }( j( G, [/ \///<summary>
: z9 w) \. A8 t0 u0 _! W+ N* h/// Calculate path length represented by the specified chromosome
- ]& m2 V4 n, a+ V& M///</summary>
publicdouble PathLength(IChromosome chromosome)
{
// salesman path
" H5 ~) Y4 @" k. s, S) mushort[] path = ((PermutationChromosome)chromosome).Value;
' S# h3 a3 _6 Z; S9 j' R$ H
$ A: U* W0 ?7 J) v; _// check path size
if (path.Length != map.GetLength(0))
+ \# C- Z7 t% b+ W, d0 ^{
thrownew ArgumentException("Invalid path specified - not all cities are visited");
}

// path length
2 Q. V! T2 h5 e; C# mint prev = path[0];
: `2 \4 I: A1 W+ g9 [+ g- Y6 _: o  _int curr = path[path.Length -1];
- d& b% T8 a' Y+ k. ^
9 R+ ^5 a' |8 D: c4 K- U// calculate distance between the last and the first city
1 f1 g' U' d/ }8 G9 F  ^  r0 Z& @double dx = map[curr, 0] - map[prev, 0];
; V. W: h: Q7 B  X! ^$ _double dy = map[curr, 1] - map[prev, 1];
double pathLength = Math.Sqrt(dx * dx + dy * dy);

// calculate the path length from the first city to the last
( ^4 x% [" y! k2 S$ ^for (int i =1, n = path.Length; i < n; i++)
5 ]3 T6 g- Y' n, R7 g" X{
// get current city
curr = path;

- q' ], g5 U9 Q: q1 d2 u8 R// calculate distance
; X( f6 e6 i) Rdx = map[curr, 0] - map[prev, 0];
. F$ B% C8 O5 K: I# J$ q  p8 Jdy = map[curr, 1] - map[prev, 1];
, c( c% U! v$ xpathLength += Math.Sqrt(dx * dx + dy * dy);

// put current city as previous
) m9 |: v" c# P: e4 n' m( Aprev = curr;
( C7 @8 w" z- P}

return pathLength;
}
}
+ L% m9 |6 @3 e: q/ K0 w; ~}
1 _/ f- L& E# I$ ~2 ^
5 m8 i: `. _* N( z& T* v
4 R0 a9 h, n; w" R+ x[url=][/url]
+ \. E% _" u$ G, @
' j0 E* y1 m" A/ Z2 B) j5 a5 x

; s3 r- S! G) c/ `& |

   (5) 添加GenticTSP.cs，加入如下代码：

[url=][/url]
5 J- i  F7 u) K9 q6 F  m9 A4 V) o4 @+ VGenticTSP类using System;
using System.Collections.Generic;
8 M, n1 k) V- w! d) d) uusing System.Linq;
0 C2 l7 E. O  L" C) p+ ^- A% b* Z5 }using System.Text;
2 I" O% v& D* Q/ R* t; A2 @using System.IO;
2 N- ~2 q4 f# H/ q
/ Y+ n7 Y" C: K) W4 j% I) O& Kusing AForge;
  |  s4 b1 k; Gusing AForge.Genetic;


2 O0 m6 r0 r6 _0 {1 Q" pnamespace GenticTSP
+ d+ M+ v( X! ^5 Z# T{
class GenticTSP
{

& o- s4 X% g. z- e: \; m4 Dstaticvoid Main()
{
( Y3 P4 V( d2 _# d1 @StreamReader reader =new StreamReader("Data.txt");
- e, \3 G5 J# z; M
int citiesCount =31; //城市数

int[,] map =newint[citiesCount, 2];
$ B9 H& W( L# e
+ Z& h! |, K% rfor (int i =0; i < citiesCount; i++)
{
* s8 b& T  @6 W5 p6 w) \" zstring value = reader.ReadLine();
string[] temp = value.Split('');
map[i, 0] =int.Parse(temp[0]); //读取城市坐标
map[i, 1] =int.Parse(temp[1]);
}

// create fitness function
- d8 r  }' ~% CTSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);
2 X8 \6 D0 a! H" c+ A
' g/ D# o* F8 lint populationSize = 1000; //种群最大规模

* B% t. D1 q1 E9 E  N/*
( ]# T2 A6 E2 O6 f, F9 Q* 0：EliteSelection算法
6 m& d0 @) Z; O3 |* \* 1：RankSelection算法
* 其他：RouletteWheelSelection 算法
* */
; F0 X6 B( @6 |) P. W- Kint selectionMethod =0;

// create population
: J' B& E! L3 v6 t; z8 p5 O; g) kPopulation population =new Population(populationSize,
new PermutationChromosome(citiesCount),
fitnessFunction,
0 H7 v# i/ L3 a! o9 g# ]" @5 F(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
" L: Y6 d2 E2 A. d# t/ o(ISelectionMethod)new RouletteWheelSelection()
! a! ^& A& F' j, H3 O5 s);

// iterations
4 ]: K, p) u- M: z# S' Hint iter =1;
0 r. L! W% x+ P0 x/ ^int iterations =5000; //迭代最大周期
3 t3 z( S: F1 W$ T0 a5 b: D
2 X; E- O# M5 s// loop
7 n& i4 ]7 }) T& n4 Ywhile (iter < iterations)
9 c2 U5 ?) {4 C9 I. J: J( ^3 P( g2 M{
  e" n* T. H  L5 `' z1 m- a4 u// run one epoch of genetic algorithm
population.RunEpoch();

1 D! f' ^. X$ E+ A7 P- s. f# V// increase current iteration
# T" U" k6 B% L7 x2 Riter++;
}

System.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
System.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
System.Console.Read();

" P5 {4 |9 Z  S6 W# d# V+ T& W}
}
}

6 q' ^7 K7 @1 K3 z, L& l' P0 F
[url=][/url]



* W  n6 n: ?2 _: W

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

/ a" W& M: N; o8 h3 R) ~  {7 _
+ e0 q& i& E& B2 N) ^/ H4 U4 T