数学建模十类经典算法（2）

百年孤独

2、最优化理论的三大非经典算法
这十几年来最优化理论有了飞速发展，模拟退火法、神经网络、遗传算法这三类算法发展很快。近几年的赛题越来越复杂，很多问题没有什么很好的模型可以借鉴，于是这三类算法很多时候可以派上用场，比如：97 年A 题的模拟退火算法，00 年B 题的神经网络分类算法，象01 年B 题这种难题也可以使用神经网络，还有美国竞赛89 年A 题也和BP 算法有关系，当时是86 年刚提出BP 算法，89 年就考了，说明赛题可能是当今前沿科技的抽象体现。目前算法最佳的是遗传算法。
/ g3 Y# s- T, w5 d3 }% a7 _' C+ f  k( r
5 Y, s- b9 j# B& G9 \! o7 J遗传算法简介：
遗传算法是一类借鉴生物界自然选择和自然遗传机制的随机化搜索算法，由美国J.Holland教授提出，其主要特点是群体搜索策略和群体中个体之间的信息交换，搜索不依赖于梯度信息。它尤其适用于传统搜索方法难于解决的复杂和非线性问题，可广泛用于组合优化、机器学习、自适应控制、规划设计和人工生命等领域，是21世纪有关智能计算中的关键技术之一。
' G, {( ?+ A8 N7 I1 L  n% {在人工智能领域中，有不少问题需要在复杂和庞大的搜索空间中寻找最优解或准最优解。象货郎担问题和规划问题等组合优化问题就是典型的例子。在求解此类问题时，若不能利用问题固有知识来缩小搜索空间则会产生搜索的组合爆炸。
2 ]2 `; @  b* |) O. \
因此，研究能在搜索过程中自动获取和积累有关搜索空间的知识，并自适应地控制搜索过程，从而得到最优解地通用搜索方法一直是令人瞩目地课题。遗传算法就是这种特别有效地算法。生物的进化是一个奇妙的优化过程，它通过选择淘汰，突然变异，基因遗传等规律产生适应环境变化的优良物种。遗传算法是根据生物进化思想而启发得出的一种全局优化算法。尽管遗传算法本身在理论和应用方法上仍有许多待进一步研究地问题，但它已在很多领域地应用中展现了其特色和魅力。
1 N5 ~, U5 |# \# S: X遗传算法的基本概念
$ C; |: d. E3 N, A% k遗传算法的基本思想是基于Darwin进化论和Mendel的遗传学说的。
$ ~. d2 G' T( Q: n, ?0 l; ?% c& MDarwin进化论最重要的是适者生存原理。它认为每一物种在发展中越来越适应环境。物种每个个体的基本特征由后代所继承，但后代又会产生一些异于父代的新变化。在环境变化时，只有那些能适应环境的个体特征方能保留下来。
  e, ~# Y! b) |- q, s( @. R, b. q) eMendel遗传学说最重要的是基因遗传原理。它认为遗传以密码方式存在细胞中，并以基因形式包含在染色体内。每个基因有特殊的位置并控制某种特殊性质；所以，每个基因产生的个体对环境具有某种适应性。基因突变和基因杂交可产生更适应于环境的后代。经过存优去劣的自然淘汰，适应性高的基因结构得以保存下来。
由于遗传算法是由进化论和遗传学机理而产生的直接搜索优化方法；故而在这个算法中要用到各种进化和遗传学的概念。这些概念如下：
一、串(String)
它是个体(Individual)的形式，在算法中为二进制串，并且对应于遗传学中的染色体(Chromosome)。
二、群体(Population)
* M  ?4 b) }2 s: R3 I个体的**称为群体，串是群体的元素
三、群体大小(Population Size)
) h, D) `6 n6 b# f& K) b3 L在群体中个体的数量称为群体的大小。
* [( P, i# A6 d/ c7 E" d四、基因(Gene)
: V! }+ X4 o& T基因是串中的元素，基因用于表示个体的特征。例如有一个串S＝1011，则其中的1，0，1，1这4个元素分别称为基因。它们的值称为等位基因(Alletes)。
  c. y  B: o* Y" I, S, k- F五 、基因位置(Gene Position)
一个基因在串中的位置称为基因位置，有时也简称基因位。基因位置由串的左向右计算，例如在串S＝1101中，0的基因位置是3。基因位置对应于遗传学中的地点(Locus)。
2 r! `3 k* h5 {5 T; p& D
' R$ m- C, ~' O六、基因特征值(Gene Feature)
( q6 I3 W% _) }+ H1 K在用串表示整数时，基因的特征值与二进制数的权一致；例如在串S=1011中，基因位置3中的1，它的基因特征值为2；基因位置1中的1，它的基因特征值为8。
' X& w3 \+ ]# S5 N, u$ R8 w7 T七、串结构空间SS
在串中，基因任意组合所构成的串的**。基因操作是在结构空间中进行的。串结构空间对应于遗传学中的基因型(Genotype)的**。
  t) N3 }/ H; x2 a& f- Y. L八、参数空间SP
% Z: Z% c2 A9 Y; T这是串空间在物理系统中的映射，它对应于遗传学中的表现型(Phenotype)的**。
4 l0 s! f4 F5 X九、非线性
它对应遗传学中的异位显性(Epistasis)
% h+ l5 P5 l2 h: ]* Y# k5 O$ s* m十、适应度(Fitness)
2 L3 |$ b$ A  W表示某一个体对于环境的适应程度。遗传算法的原理
- J+ _# a, I  a6 I( M* W2 O遗传算法GA把问题的解表示成“染色体”，在算法中也即是以二进制编码的串。并且，在执行遗传算法之前，给出一群“染色体”，也即是假设解。然后，把这些假设解置于问题的“环境”中，并按适者生存的原则，从中选择出较适应环境的“染色体”进行复制，再通过交叉，变异过程产生更适应环境的新一代“染色体”群。这样，一代一代地进化，最后就会收敛到最适应环境的一个“染色体”上，它就是问题的最优解。
' J; e0 O& J. [: L一、遗传算法的目的
+ J  N2 b1 ~  O. F. G8 U: {- z典型的遗传算法CGA(Canonical Genetic Algorithm)通常用于解决下面这一类的静态最优化问题：
考虑对于一群长度为L的二进制编码bi，i＝1，2，…，n；有
bi∈{0,1}
. d- [( ^1 B: S2 R% r- ?给定目标函数f，有f(bi)，并且
" x7 y( H9 d0 I( v) m& f" |. |0 o0<f(bi)<∞
$ l. f1 f% D, X; \同时
f(bi)≠f(bi+1)
求满足下式
max{f(bi)|bi∈{0,1}的bi。
+ m0 B9 P* t" R% J% L% W. E- P3 V0 z很明显，遗传算法是一种最优化方法，它通过进化和遗传机理，从给出的原始解群中，不断进化产生新的解，最后收敛到一个特定的串bi处，即求出最优解。
7 b( ~( f6 H1 i2 t2 R
! i( W' X, |5 }二、遗传算法的基本原理
长度为L的n个二进制串bi(i＝1，2，…，n)组成了遗传算法的初解群，也称为初始群体。在每个串中，每个二进制位就是个体染色体的基因。根据进化术语，对群体执行的操作有三种：
1．选择(Selection)
2 F0 U: C* J4 r& o这是从群体中选择出较适应环境的个体。这些选中的个体用于繁殖下一代。故有时也称这一操作为再生(Reproduction)。由于在选择用于繁殖下一代的个体时，是根据个体对环境的适应度而决定其繁殖量的，故而有时也称为非均匀再生(differential reproduction)。
. z1 O5 ]# o" a% O2 W1 q2．交叉(Crossover)
这是在选中用于繁殖下一代的个体中，对两个不同的个体的相同位置的基因进行交换，从而产生新的个体。
3．变异(Mutation)
& C0 ]/ r. ^$ x4 d这是在选中的个体中，对个体中的某些基因执行异向转化。在串bi中，如果某位基因为1，产生变异时就是把它变成0；反亦反之。三、遗传算法的步骤
1．初始化
选择一个群体，即选择一个串或个体的**bi，i=1，2，...n。这个初始的群体也就是问题假设解的**。一般取n＝30-160。
" u5 o5 R; x7 E  \通常以随机方法产生串或个体的**bi,i＝1，2，...n。问题的最优解将通过这些初始假设解进化而求出。
2．选择
# s* h8 |7 P5 O' q9 h根据适者生存原则选择下一代的个体。在选择时，以适应度为选择原则。适应度准则体现了适者生存，不适应者淘汰的自然法则。
给出目标函数f，则f(bi)称为个体bi的适应度。以

% `4 Y7 N4 _: N) f- q+ r4 l6 M& P
为选中bi为下一代个体的次数。
2 \: T5 D$ c# h5 D) i! x
显然：
3 \' T. {1 @' g# g(1)适应度较高的个体，繁殖下一代的数目较多。
(2)适应度较小的个体，繁殖下一代的数目较少；甚至被淘汰。
这样，就产生了对环境适应能力较强的后代。对于问题求解角度来讲，就是选择出和最优解较接近的中间解。
选择的方法有：
" O1 F# S0 n9 h6 d) f) b适应度比例法
+ i; \4 [: X, O; e. {& I4 H期望值法
排位次法
精华保存法
/ U4 \" ~2 A' E
3．交叉
, k& q4 K1 z* Z( e( q% Q% |) I* N对于选中用于繁殖下一代的个体，随机地选择两个个体的相同位置，按交叉概率P。在选中的位置实行交换。这个过程反映了随机信息交换；目的在于产生新的基因组合，也即产生新的个体。交叉时，可实行单点交叉或多点交叉。

例如：有个体
* p9 b: }% w7 H) J1 fS1=100101
S2=010111
选择它们的左边3位进行交叉操作，则有
S1=010101
S2=100111
一般而言，交叉概率P，取值为0.25—0.75。4．变异
0 d0 ]' A+ f+ k" N根据生物遗传中基因变异的原理，以变异概率Pm对某些个体的某些位执行变异。在变异时，对执行变异的串的对应位求反，即把1变为0，把0变为1。变异概率Pm与生物变异极小的情况一致，所以，Pm的取值较小，一般取0.01-0.2。

- A2 |% c! x# v: W例如：
有个体S＝101011。
: ^2 J' S3 \% H( G# }3 k6 R对其的第1，4位置的基因进行变异，则有
* ~3 }. _. l' ~& u" rS'=001111
8 c( o1 I# i5 ]/ D8 s单靠变异不能在求解中得到好处。但是，它能保证算法过程不会产生无法进化的单一群体。因为在所有的个体一样时，交叉是无法产生新的个体的，这时只能靠变异产生新的个体。也就是说，变异增加了全局优化的特质。
, u8 y' G2 J' `% |, t: }. S. ~5．全局最优收敛(Convergence to the global optimum)
当最优个体的适应度达到给定的阀值，或者最优个体的适应度和群体适应度不再上升时，则算法的迭代过程收敛、算法结束。否则，用经过选择、交叉、变异所得到的新一代群体取代上一代群体，并返回到第2步即选择操作处继续循环执行。
* u' d, @* V+ e: m) G2 n1 M遗传算法基本处理流程图如下：
6 R7 M/ E+ o0 ?* t5 E
二、遗传算法的应用关键
6 V) t+ x( p& `* H遗传算法在应用中最关键的问题有如下3个
1．串的编码方式
这本质是问题编码。一般把问题的各种参数用二进制编码，构成子串；然后把子串拼接构成“染色体”串。串长度及编码形式对算法收敛影响极大。
6 O. l3 w6 Y7 H4 J- A0 C% ]2．适应函数的确定
- ^* s$ O" e- g  @; l* G3 F" P* @, S# O适应函数(fitness function)也称对象函数(object function)，这是问题求解品质的测量函数；往往也称为问题的“环境”。一般可以把问题的模型函数作为对象函数；但有时需要另行构造。
3．遗传算法自身参数设定
遗传算法自身参数有3个，即群体大小n、交叉概率Pc和变异概率Pm。
群体大小n太小时难以求出最优解，太大则增长收敛时间。一般n＝30-160。交叉概率Pc太小时难以向前搜索，太大则容易破坏高适应值的结构。一般取Pc=0.25-0.75。变异概率Pm太小时难以产生新的基因结构，太大使遗传算法成了单纯的随机搜索。一般取Pm＝0．01—0．2。
& S4 L3 h1 S( O, x6 amatlab遗传算法工具箱函数及实例讲解
/ g0 s& o) j. N, D" S7 s核心函数：
! g1 z5 o( r" c: c6 I, o- L(1)function [pop]=initializega(num,bounds,eevalFN,eevalOps,options)--初始种群的生成函数
【输出参数】
0 o  m+ q& X0 Z* ^2 F0 Fpop--生成的初始种群
: \/ d, F) u7 P& q【输入参数】
num--种群中的个体数目
, F8 n* I5 o: p% \2 ibounds--代表变量的上下界的矩阵
eevalFN--适应度函数
+ ^' o+ X+ f8 M7 Z; N0 X- seevalOps--传递给适应度函数的参数
' }1 G8 q% ~+ yoptions--选择编码形式(浮点编码或是二进制编码)[precision F_or_B],如
4 w8 R# g; [9 ~/ V& E3 i3 @9 oprecision--变量进行二进制编码时指定的精度
F_or_B--为1时选择浮点编码，否则为二进制编码,由precision指定精度)
3 M7 v$ ~* a! E3 e' y2)function [x,endPop,bPop,traceInfo] = ga(bounds,evalFN,evalOps,startPop,opts,...
termFN,termOps,selectFN,selectOps,xOverFNs,xOverOps,mutFNs,mutOps)--遗传算法函数
【输出参数】
x--求得的最优解
4 S6 j  G1 l1 _( TendPop--最终得到的种群
! W# h  E1 N' H% }6 PbPop--最优种群的一个搜索轨迹
) G& p( J/ z* t& ?! k$ K0 B【输入参数】
bounds--代表变量上下界的矩阵
3 C6 ~" u% y& @2 a# S1 d$ b2 ~- O- r+ wevalFN--适应度函数
8 E7 m9 {/ L; t: i6 Y" }evalOps--传递给适应度函数的参数
startPop-初始种群
5 I; Y' \# G) a3 n" w0 Jopts[epsilon prob_ops display]--opts(1:2)等同于initializega的options参数，第三个参数控制是否输出，一般为0。如[1e-6 1 0]
1 h4 U, ^$ Q3 E9 CtermFN--终止函数的名称,如[‘maxGenTerm’]
* y3 Y5 Y' j  D: T$ i4 D+ RtermOps--传递给终止函数的参数,如[100]
selectFN--选择函数的名称,如[‘normGeomSelect’]
selectOps--传递给选择函数的参数,如[0.08]
xOverFNs--交叉函数名称表，以空格分开，如['arithXover heuristicXover simpleXover']
xOverOps--传递给交叉函数的参数表，如[2 0;2 3;2 0]
& n) K2 j8 e# ?8 J4 c3 E9 vmutFNs--变异函数表，如['boundaryMutation multiNonUnifMutation nonUnifMutation unifMutation']
: T0 O& i3 m/ h% [6 e" EmutOps--传递给交叉函数的参数表,如[4 0 0;6 100 3;4 100 3;4 0 0]
【问题】求f(x)=x+10*sin(5x)+7*cos(4x)的最大值，其中0<=x<=9
【分析】选择二进制编码，种群中的个体数目为10，二进制编码长度为20，交叉概率为0.95,变异概率为0.08
【程序清单】
4 }) |5 v+ ?- p5 k6 S7 X; [%编写目标函数
function[sol,eval]=fitness(sol,options)
- ~3 X. i) u; L* Yx=sol(1);
eval=x+10*sin(5*x)+7*cos(4*x);
%把上述函数存储为fitness.m文件并放在工作目录下

1 U" S  O  `% d/ g3 y0 A8 OinitPop=initializega(10,[0 9],'fitness');%生成初始种群，大小为10
" K! s+ L7 w9 M: k1 @5 L/ q* ?[x endPop,bPop,trace]=ga([0 9],'fitness',[],initPop,[1e-6 1 1],'maxGenTerm',25,'normGeomSelect',...
( \/ z; `$ x$ W. m/ S0 A) L[0.08],['arithXover'],[2],'nonUnifMutation',[2 25 3]) %25次遗传迭代
运算结果为：x = 7.8562 24.8553(当x为7.8562时，f（x）取最大值24.8553)

注：1、遗传算法一般用来取得近似最优解，而不是最优解。
: _3 e" _- D1 k5 z2、matlab工具箱函数必须放在工作目录下