【转】优化算法入门系列文章目录（更新中）

我要吃章鱼丸子

遗传算法入门Posted on 2010-12-23 13:12 苍梧 阅读(103275) 评论(39) 编辑 收藏
  U  ~, y) `# d! s: H

优化算法入门系列文章目录（更新中）：

　　1. 模拟退火算法

　　2. 遗传算法

原文http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

　　遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。

一.进化论知识

　　作为遗传算法生物背景的介绍，下面内容了解即可：

　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

　　个体：组成种群的单个生物。

　　基因 ( Gene ) ：一个遗传因子。

　　染色体 ( Chromosome ) ：包含一组的基因。

　　生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

　　遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

　　简单说来就是：繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

二.遗传算法思想

　　借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

　　举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取） ；首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

　　编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

6 F3 C  [$ f3 a/ q: a

　　遗传算法有3个最基本的操作：选择，交叉，变异。

; d7 Z- C0 A; d7 \( A5 Y

　　选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection ) ，轮盘赌算法的一个简单的实现如下：

[url=][/url]
轮盘赌算法/*
8 e# ^; Y; |  r% H* 按设定的概率，随机选中一个个体
9 L) u4 N3 o! V9 M& t. |* x* P表示第i个个体被选中的概率
7 G) P+ z! L9 s' d*/
int RWS()
{
m =0;
( D; a5 B9 Q: M! W' D2 @, R, ir =Random(0,1); //r为0至1的随机数
for(i=1;i<=N; i++)
; h2 c0 [2 K! \{
8 b5 a+ E! R9 g' Y. ~% ]/* 产生的随机数在m~m+P间则认为选中了i
- p6 B2 l: i8 W& d: ?* 因此i被选中的概率是P
- `; L' N& G6 u6 j. B6 L9 H*/
m = m + P;
if(r<=m) return i;
}
}
; S+ e" x4 F- P$ {# h6 f
4 f% k; j8 N/ u[url=][/url]
. i+ Q# @4 L( u; l; Z6 P
5 r* R  E; i/ z, T  D6 I5 \- Y4 [

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 ( Fitness Function )：用于评价某个染色体的适应度，用f(x)表示。有时需要区分染色体的适应度函数与问题的目标函数。例如：0-1背包问题的目标函数是所取得物品价值，但将物品价值作为染色体的适应度函数可能并不一定适合。适应度函数与目标函数是正相关的，可对目标函数作一些变形来得到适应度函数。

: k. O8 H$ a. {
三.基本遗传算法的伪代码
. K, l- ?: {: n% m
[url=][/url]
基本遗传算法伪代码/*
* Pc：交叉发生的概率
* Pm：变异发生的概率
* M：种群规模
* G：终止进化的代数
* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
*/
$ ]& k+ i' g2 [3 `: A& |$ k初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop

2 c/ x  l( U3 `. f% c/ Tdo
{
3 G* ?& e1 L0 m3 U　　计算种群Pop中每一个体的适应度F(i)。
　　初始化空种群newPop
2 c' b- y1 s" {! A2 X/ N　　do
　　{
　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
3 i2 X+ u1 Q( x　　　　if ( random ( 0 , 1 ) < Pc )
+ A& E* \& @8 F. J2 H6 f: f! Y　　　　{
　　　　　　对2个个体按交叉概率Pc执行交叉操作
" y) r7 w" c: W$ N0 E% s/ D; w　　　　}
　　　　if ( random ( 0 , 1 ) < Pm )
　　　　{
　　　　　　对2个个体按变异概率Pm执行变异操作
9 _2 T' a, B& a) O　　　　}
将2个新个体加入种群newPop中
} until ( M个子代被创建 )
8 b( ]2 f0 @' }用newPop取代Pop
) u: c+ f; k3 U8 c! n( j}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )

7 O, X* }# K. o2 C. u
[url=][/url]
9 Y8 n; o4 j# \" O( K, A- [


四.基本遗传算法优化

　　下面的方法可优化遗传算法的性能。

　　精英主义(Elitist Strategy)选择：是基本遗传算法的一种优化。为了防止进化过程中产生的最优解被交叉和变异所破坏，可以将每一代中的最优解原封不动的复制到下一代中。

　　插入操作：可在3个基本操作的基础上增加一个插入操作。插入操作将染色体中的某个随机的片段移位到另一个随机的位置。

五. 使用AForge.Genetic解决TSP问题

　　AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET中包含有一个遗传算法的类库。

: i5 z6 u8 v/ S0 o. _4 p

　　AForge.NET主页：http://www.aforgenet.com/

　　AForge.NET代码下载：http://code.google.com/p/aforge/

% }0 I5 X. D) Q$ o# d+ Z8 Z2 o' h

　　介绍一下AForge的遗传算法用法吧。AForge.Genetic的类结构如下：

% n& E$ @7 I4 R! D9 r

图1. AForge.Genetic的类图

   下面用AForge.Genetic写个解决TSP问题的最简单实例。测试数据集采用网上流传的中国31个省会城市的坐标:

[url=][/url]
13042312
36391315
& I* B6 |5 c: }% v0 A41772244
& F! s1 W6 D0 E37121399
; @% b1 x$ w) {! E5 j6 r- `34881535
33261556
* j3 s! Q/ `) R32381229
/ |4 \; o5 Y& j' @41961004
# r8 s. C/ W) Z& h4312790
+ |1 e, `4 l& ^2 N# m2 v7 x$ g4386570
30071970
; Z7 p4 o' k% g( M+ Z, C25621756
. y- L- b' c/ F27881491
( J" m6 i: S  t9 Z) L5 g: r6 ?23811676
  v2 F" ^0 G7 y1332695
37151678
( L9 w+ z% n5 K/ }( Q1 W39182179
$ w2 a$ ]0 L+ Q- N40612370
37802212
36762578
2 U6 p$ E4 s7 z' a* O/ S9 q/ E40292838
42632931
34291908
1 D& b. W! y+ c+ T0 x" J35072367
* G2 h9 m) B4 u+ p9 a) w33942643
+ u+ V! k) L% ]/ N5 J8 S34393201
( J6 g# R7 N0 I/ r' j2 T- G29353240
31403550
9 g$ o# h. X( s: ]0 [4 F25452357
27782826
23702975
[url=][/url]



" c! K  W3 \& T1 Z7 N4 e5 `

操作过程：

   (1) 下载AForge.NET类库，网址：http://code.google.com/p/aforge/downloads/list

   (2) 创建C#空项目GenticTSP。然后在AForge目录下找到AForge.dll和AForge.Genetic.dll，将其拷贝到TestTSP项目的bin/Debug目录下。再通过“Add Reference...”将这两个DLL添加到工程。

   (3) 将31个城市坐标数据保存为bin/Debug/Data.txt 。

   (4) 添加TSPFitnessFunction.cs，加入如下代码：

[url=][/url]
/ V: ~" W7 k6 {2 KTSPFitnessFunction类using System;
9 [& i5 U6 C9 q4 Y& j$ susing AForge.Genetic;

namespace GenticTSP
{
3 P5 V7 C. x6 ?- R. e///<summary>
2 V- @3 ?: X4 l: ^/// Fitness function for TSP task (Travaling Salasman Problem)
& K% w9 R% E0 l3 |! D///</summary>
: z" d* \- m& X! S7 \publicclass TSPFitnessFunction : IFitnessFunction
; j  c' ^% v& z# K* C3 E{
// map
privateint[,] map =null;
2 @+ ~, ~/ B, M% I4 _) F
% e" F0 }3 c: h  j0 x// Constructor
public TSPFitnessFunction(int[,] map)
) I& V; ?$ i  k7 V{
this.map = map;
}

, W8 |9 R  T: N8 y///<summary>
/// Evaluate chromosome - calculates its fitness value
///</summary>
3 h. K4 K7 `' h$ {( g& ?* Jpublicdouble Evaluate(IChromosome chromosome)
- M( ]$ D' j# _' T0 F" \5 h{
return1/ (PathLength(chromosome) +1);
; m/ N8 K+ Q; W# F2 Q}
% F, l; Z# C5 W- G9 `
' |) o1 a1 O* _1 V///<summary>
' L* {* W# t* X# F* ^- |/// Translate genotype to phenotype
! [2 |4 p, p6 W6 l///</summary>
1 b8 ~5 ~2 N, a0 z# gpublicobject Translate(IChromosome chromosome)
: N4 u: P8 Z6 t+ V# G% P6 o0 y{
return chromosome.ToString();
}
+ K* ^- ]8 S/ A
///<summary>
/// Calculate path length represented by the specified chromosome
, o, ~9 N( W" p  M! a4 h* Z///</summary>
& P5 j( Y$ d; w* G: P, xpublicdouble PathLength(IChromosome chromosome)
{
6 T: \, S4 P  q7 t. p/ X; e0 _( \% g// salesman path
ushort[] path = ((PermutationChromosome)chromosome).Value;

. E) x6 `$ c7 J4 Q% W: M# q$ I# ]1 \// check path size
7 F( b, P- ^. j/ f2 ?if (path.Length != map.GetLength(0))
: {$ s: h# n; g{
+ C& e5 p, G, f8 Q+ othrownew ArgumentException("Invalid path specified - not all cities are visited");
}

/ ?9 R& R, `$ H' Y2 t+ a/ X, r- B// path length
int prev = path[0];
  U! p# ~. j2 f/ O7 q5 ]; L, f+ xint curr = path[path.Length -1];
4 r+ q) [4 R3 g% v9 f0 x6 q
// calculate distance between the last and the first city
; f/ d0 U9 v1 w# @8 Z# L9 @; ldouble dx = map[curr, 0] - map[prev, 0];
3 _2 l6 a6 s/ cdouble dy = map[curr, 1] - map[prev, 1];
double pathLength = Math.Sqrt(dx * dx + dy * dy);
; _& r" l9 X0 ~: \) I8 B
// calculate the path length from the first city to the last
for (int i =1, n = path.Length; i < n; i++)
{
// get current city
curr = path;
8 D% E& b2 m: K7 N4 I
// calculate distance
dx = map[curr, 0] - map[prev, 0];
dy = map[curr, 1] - map[prev, 1];
pathLength += Math.Sqrt(dx * dx + dy * dy);

// put current city as previous
prev = curr;
}

return pathLength;
% j9 M* m7 K2 d6 B$ c; M}
}
3 @/ _- Y# C1 V7 j1 n}


7 I' p3 b, N- S% ~2 _5 |5 a. H[url=][/url]

  `( M2 T# W& @& d( D0 f! L

: q3 O) W6 i; J" G, r! `2 g

   (5) 添加GenticTSP.cs，加入如下代码：

[url=][/url]
& v# T7 x9 D4 \* y+ r4 cGenticTSP类using System;
( S* V) R# q6 V) S/ N$ |, tusing System.Collections.Generic;
using System.Linq;
0 I: {, S# \' R; susing System.Text;
using System.IO;
, m  ^3 Z0 G5 m) G- H; ?
using AForge;
9 z& W9 T! q! nusing AForge.Genetic;

% A- z8 E/ f, D" {1 v
# ?. Y& \& B* m& T* j7 P" Ynamespace GenticTSP
" U2 U4 y- z, x" z# F5 Y- f1 M{
4 r2 ~9 Z& k" N3 w+ Z9 x) d6 i- Rclass GenticTSP
{

staticvoid Main()
{
StreamReader reader =new StreamReader("Data.txt");

int citiesCount =31; //城市数
& \2 m+ k" c1 _' c& I% R* i
0 S! C* O7 ^3 [& ~! o1 tint[,] map =newint[citiesCount, 2];
8 x9 L* J% [# o1 j( p7 a
for (int i =0; i < citiesCount; i++)
. `6 U, @/ y0 a8 e{
) {* R% U, h7 ^$ y/ R7 W# `5 V4 d7 Bstring value = reader.ReadLine();
! ^: R& n  N% A# O: x# m0 c9 Ystring[] temp = value.Split('');
3 V5 M6 i' G5 ?% emap[i, 0] =int.Parse(temp[0]); //读取城市坐标
map[i, 1] =int.Parse(temp[1]);
}
' G  z0 A; K1 M) z
7 N3 e9 f- M6 l0 K, Y, j// create fitness function
1 E( c1 N; y% O$ tTSPFitnessFunction fitnessFunction =new TSPFitnessFunction(map);

/ p6 q' _$ U; q/ Bint populationSize = 1000; //种群最大规模
' x7 `9 P- f0 w6 n3 b
/*
& S' q( k) Y: d# ^* N( B* 0：EliteSelection算法
$ G2 L& A. {: l5 {) t* 1：RankSelection算法
* 其他：RouletteWheelSelection 算法
* */
int selectionMethod =0;
4 ^' X9 @- O! [) {( w
$ ?9 o! b4 u$ S. l// create population
, O% }7 ^* ~- ]( wPopulation population =new Population(populationSize,
new PermutationChromosome(citiesCount),
- s: Z* Z3 O9 ?* }9 \$ }fitnessFunction,
/ e5 v/ b" O1 l# e' ?5 Z' h7 ~& K$ i(selectionMethod ==0) ? (ISelectionMethod)new EliteSelection() :
(selectionMethod ==1) ? (ISelectionMethod)new RankSelection() :
8 K/ E. r- d& u7 `& ^; V: {(ISelectionMethod)new RouletteWheelSelection()
);
) ?& G5 ^% _- u3 d1 U3 h# L: C
! M. H' j5 V& }. j/ p// iterations
" z  d. @  J( \# e9 h% S7 r$ `4 ?int iter =1;
% R7 {8 R3 ^' aint iterations =5000; //迭代最大周期

// loop
2 ^- n4 S; z' u1 ^2 W0 Awhile (iter < iterations)
{
, q) W) h2 g5 j8 W// run one epoch of genetic algorithm
* ^3 o7 h) o( P) @population.RunEpoch();
* M. V* _3 }2 f9 O) L- H5 y
; @3 ?6 ~0 C$ L3 Q  G0 F% w+ l// increase current iteration
% [" R+ {" c  t8 Titer++;
}

System.Console.WriteLine("遍历路径是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
$ n/ x4 P1 u5 ~3 X2 V4 L' ]/ nSystem.Console.WriteLine("总路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
7 r0 a- j  _; L! d/ r* XSystem.Console.Read();
4 n# `: f% @2 X! v
* u7 ^% x7 ^" F* f}
}
}
( o" U# O. w& N; h  p

$ m7 N9 ?5 B: V2 Q2 |' Q[url=][/url]
& z$ l8 s9 c9 e



6 u9 J$ L; I* T, S1 y

网上据称这组TSP数据的最好的结果是 15404 ，上面的程序我刚才试了几次最好一次算出了15402.341，但是最差的时候也跑出了大于16000的结果。

我这还有一个版本，设置种群规模为1000，迭代5000次可以算出15408.508这个结果。源代码在文章最后可以下载。

总结一下使用AForge.Genetic解决问题的一般步骤：

   (1) 定义适应函数类，需要实现IFitnessFunction接口

   (2) 选定种群规模、使用的选择算法、染色体种类等参数，创建种群population

   (3)设定迭代的最大次数，使用RunEpoch开始计算

- N  \) f* \% z& N/ u
. Q3 f2 r( x  q; ^) k0 S1 G$ g
" ^' b- ~; I6 Z1 w8 X3 E# _- |2 N
% O3 |2 {3 g4 S$ U, t- `8 P5 h