动态规划

浅夏110

1.1 动态规划的发展及研究内容
0 W; M7 j6 k2 M- X动态规划（dynamic programming）是运筹学的一个分支，是求解决策过程（decision process）最优化的数学方法。20 世纪 50 年代初 R. E. Bellman 等人在研究多阶段决策过 程(multistep decision process)的优化问题时，提出了著名的最优性原理（principle of optimality），把多阶段过程转化为一系列单阶段问题，逐个求解，创立了解决这类过程 优化问题的新方法—动态规划。1957 年出版了他的名著《Dynamic Programming》，这 是该领域的第一本著作。 动态规划问世以来，在经济管理、生产调度、工程技术和最优控制等方面得到了广 泛的应用。例如最短路线、库存管理、资源分配、设备更新、排序、装载等问题，用动态规划方法比用其它方法求解更为方便。 虽然动态规划主要用于求解以时间划分阶段的动态过程的优化问题，但是一些与时间无关的静态规划（如线性规划、非线性规划），只要人为地引进时间因素，把它视为多阶段决策过程，也可以用动态规划方法方便地求解。 应指出，动态规划是求解某类问题的一种方法，是考察问题的一种途径，而不是一种特殊算法（如线性规划是一种算法）。因而，它不象线性规划那样有一个标准的数学表达式和明确定义的一组规则，而必须对具体问题进行具体分析处理。因此，在学习 时，除了要对基本概念和方法正确理解外，应以丰富的想象力去建立模型，用创造性的 技巧去求解。
7 n2 X' O2 @+ W
# ~9 r4 g+ ]( e) r例 1 最短路线问题
7 c9 c5 s; j% W; i! D, Z图 1 是一个线路网，连线上的数字表示两点之间的距离（或费用）。试寻求一条由 A 到G 距离最短（或费用最省）的路线。
4 G& N0 a+ o. f8 Z7 \
8 D( m# t% a/ D3 B8 X3 |
/ u  y5 b' q4 N# A
例 2 生产计划问题
工厂生产某种产品，每单位（千件）的成本为 1（千元），每次开工的固定成本为 3 （千元），工厂每季度的最大生产能力为 6（千件）。经调查，市场对该产品的需求量第 一、二、三、四季度分别为 2，3，2，4（千件）。如果工厂在第一、二季度将全年的需 求都生产出来，自然可以降低成本（少付固定成本费），但是对于第三、四季度才能上 市的产品需付存储费，每季每千件的存储费为 0.5（千元）。还规定年初和年末这种产品 均无库存。试制定一个生产计划，即安排每个季度的产量，使一年的总费用（生产成本 和存储费）最少。

: m  P' u( R0 J4 b* o5 y1.2 决策过程的分类
/ ?. w+ Q# L4 K9 h" |0 _5 o
  z! S+ B+ u8 f- `根据过程的时间变量是离散的还是连续的，分为离散时间决策过程（discrete-timedecision process）和连续时间决策过程（continuous-time decision process）；根据过程的演变是确定的还是随机的，分为确定性决策过程（deterministic decision process）和随机性决策过程（stochastic decision process），其中应用最广的是确定性多阶段决策过程。
2 G+ k% X" l2 O1 w7 i
5 _0 r! S' u6 f2 A2 基本概念、基本方程和计算方法
4 x5 b( X* Q( C4 k" y% l2.1 动态规划的基本概念和基本方程
" `. I: }' p( V8 H4 ^( s' ~0 ?! d一个多阶段决策过程最优化问题的动态规划模型通常包含以下要素。
6 |4 k8 {2 Q$ Q/ J" G8 `
2.1.1 阶段
5 q. }& E& Y+ q8 P; z阶段(step)是对整个过程的自然划分。通常根据时间顺序或空间顺序特征来划分阶段，以便按阶段的次序解优化问题。阶段变量一般用k = 1,2,...,n 表示。

在例 1 中由 A 出发为 k = 1，由   (i = 1,2)  出发为 k = 2 ，依此下去从   (i = 1,2) 出发为 k = 6 ，共 n = 6个阶段。在例 2 中按照第一、二、三、四季度分为k = 1,2,3,4，共四个阶段。

2.1.2 状态
! P: T# E3 K$ d1 a9 L) U6 ?; u* H0 V4 `状态（state）表示每个阶段开始时过程所处的自然状况。它应能描述过程的特征并 且无后效性，即当某阶段的状态变量给定时，这个阶段以后过程的演变与该阶段以前各 阶段的状态无关。通常还要求状态是直接或间接可以观测的。


+ k, v. P) v. I6 A0 @
$ f+ B; k4 Y9 R. N/ j 根据过程演变的具体情况，状态变量可以是离散的或连续的。为了计算的方便有时 将连续变量离散化；为了分析的方便有时又将离散变量视为连续的。 状态变量简称为状态。

2.1.3 决策
当一个阶段的状态确定后，可以作出各种选择从而演变到下一阶段的某个状态，这 种选择手段称为决策（decision），在最优控制问题中也称为控制（control）。

  B" Z4 \/ ?7 }0 P; q

决策变量简称决策。
0 w# Z9 z% k" t6 P; T
2.1.4 策略


! A* x( \& [& V
/ N! T$ _6 V/ C( z. O/ k; U

) ~' V: e8 y1 c. _
2.1.5. 状态转移方程
在确定性过程中，一旦某阶段的状态和决策为已知，下阶段的状态便完全确定。用 状态转移方程（equation of state transition）表示这种演变规律，写作
- q4 _8 C1 h- S4 Y
" C' ^7 b' }& T/ e

, k, x) ~% I0 N4 P2.1.6. 指标函数和最优值函数


# `- ?8 Q' s8 \' v
' P$ E" R, b5 P- @4 N. p4 o2.1.7 最优策略和最优轨线

' r! j6 P9 {8 b
- }% E& |# |% S9 W0 w+ O# K
2.1.8 递归方程

' n6 w# k; |$ U7 ?' }* z3 _

" W9 v) v/ f" _2 b8 P& k例 3  用 lingo 求解例 1 最短路线问题。
, M' c4 N$ D$ Q4 m. t: y( _5 O8 M7 u
% Z- s* R9 s) w- Xmodel:
- D, y* W- ]; U9 Y, Y6 PTitle Dynamic Programming;
sets:
; E) k7 n1 r  Q5 l3 l" t9 E, Nvertex/A,B1,B2,C1,C2,C3,C4,D1,D2,D3,E1,E2,E3,F1,F2,G/;
) m) o' u8 p: x% s7 ?2 a2 [% Hroad(vertex,vertex)/A B1,A B2,B1 C1,B1 C2,B1 c3,B2 C2,B2 C3,B2 C4,
8 Z+ h; ^! m4 G% I4 ?# Y! O+ uC1 D1,C1 D2,C2 D1,C2 D2,C3 D2,C3 D3,C4 D2,C4 D3,
D1 E1,D1 E2,D2 E2,D2 E3,D3 E2,D3 E3,
E1 F1,E1 F2,E2 F1,E2 F2,E3 F1,E3 F2,F1 G,F2 G/;
5 l8 y% F/ _  [& b/ _  [endsets
/ ?, X+ n6 V' S, w. H0 z, Ndata:
D=5 3 1 3 6 8 7 6
6 8 3 5 3 3 8 4
2 2 1 2 3 3
3 5 5 2 6 6 4 3;
L=0,,,,,,,,,,,,,,,;
enddata
@for(vertex(i)|i#GT#1(i)=@min(road(j,i)(j)+D(j,i)));
end

动态规划模型的建模步骤
: ]3 W  a0 ~- Z/ Q7 M6 Q纵上所述，如果一个问题能用动态规划方法求解，那么，我们可以按下列步骤，首先建立起动态规划的数学模型：
  @  v, Y% n/ R3 N+ i: o7 M
' g1 l1 U+ l& M9 \（i）将过程划分成恰当的阶段。

（ii）正确选择状态变量  ，使它既能描述过程的状态，又满足无后效性，同时确 定允许状态集合  。
# p& M3 l1 N) W$ `- N% |4 @' v
( u& p/ O1 A9 H3 b) v7 C( Z, M（iii）选择决策变量  ，确定允许决策集合  。
9 _8 L. K2 |* y1 w% m
（iv）写出状态转移方程。

（v）确定阶段指标  及指标函数  的形式（阶段指标之和，阶段指标之 积，阶段指标之极大或极小等）。

2 R) Y4 i- x- P5 R  V（vi）写出基本方程即最优值函数满足的递归方程，以及端点条件。

7 s0 q$ Y" E" p

& Y6 w' x) z; @3 逆序解法的计算框图
; \- c. c8 R" f- n以自由终端、固定始端、指标函数取和的形式的逆序解法为例给出计算框图，其它 情况容易在这个基础上修改得到。

一般化的自由终端条件为
2 ]+ b% @* k2 v

$ }5 W8 n6 K# X2 Z
. o# B7 T- J) N5 h& X# `
' Z- E2 ~6 O8 d- E# a  U! h7 V) S


7 K5 M" Y6 S+ x  Z- S! {§4 动态规划与静态规划的关系
% [, b  F) q3 i0 o0 r, d# E动态规划与静态规划（线性和非线性规划等）研究的对象本质上都是在若干约束条 件下的函数极值问题。两种规划在很多情况下原则上可以相互转换。

          动态规划可以看作求决策 使指标函数  达到最优 （最大或最小）的极值问题，状态转移方程、端点条件以及允许状态集、允许决策集等 是约束条件，原则上可以用非线性规划方法求解。 一些静态规划只要适当引入阶段变量、状态、决策等就可以用动态规划方法求解。 下面用例子说明。
2 ?) k' T3 l/ ~, r4 A+ S
/ x$ V8 u, w! o0 n$ ?例 4 用动态规划解下列非线性规划
/ G. S0 K6 B6 o3 l+ i8 G; ?: O: ~


$ O0 r$ P4 h- f/ p1 Z" ~与静态规划相比，动态规划的优越性在于：
; G. D8 j& N! L. D
（i）能够得到全局最优解。由于约束条件确定的约束集合往往很复杂，即使指标 函数较简单，用非线性规划方法也很难求出全局最优解。而动态规划方法把全过程化为一系列结构相似的子问题，每个子问题的变量个数大大减少，约束集合也简单得多，易 于得到全局最优解。特别是对于约束集合、状态转移和指标函数不能用分析形式给出的 优化问题，可以对每个子过程用枚举法求解，而约束条件越多，决策的搜索范围越小， 求解也越容易。对于这类问题，动态规划通常是求全局最优解的唯一方法。

5 Z3 j. o* _1 a! a; s; V（ii）可以得到一族最优解。与非线性规划只能得到全过程的一个最优解不同，动 态规划得到的是全过程及所有后部子过程的各个状态的一族最优解。有些实际问题需要 这样的解族，即使不需要，它们在分析最优策略和最优值对于状态的稳定性时也是很有 用的。当最优策略由于某些原因不能实现时，这样的解族可以用来寻找次优策略。
& e! Z4 E0 b' ~6 `1 ^1 S& _" X
4 D! R1 }2 z7 a1 a" q（iii）能够利用经验提高求解效率。如果实际问题本身就是动态的，由于动态规划 方法反映了过程逐段演变的前后联系和动态特征，在计算中可以利用实际知识和经验提 高求解效率。如在策略迭代法中，实际经验能够帮助选择较好的初始策略，提高收敛速 度。

动态规划的主要缺点是：
, j" q7 `+ i* e( v
1 [. p+ J) `! @4 H  N1 w' `  p（i）没有统一的标准模型，也没有构造模型的通用方法，甚至还没有判断一个问 题能否构造动态规划模型的准则。这样就只能对每类问题进行具体分析，构造具体的模 型。对于较复杂的问题在选择状态、决策、确定状态转移规律等方面需要丰富的想象力 和灵活的技巧性，这就带来了应用上的局限性。

. S8 b, t' p' @' C# c: Y5 M（ii）用数值方法求解时存在维数灾（curse of dimensionality）。若一维状态变量有m 个取值，那么对于n 维问题，状态 就有  个值，对于每个状态值都要计算、存储函 数  ，对于n 稍大的实际问题的计算往往是不现实的。目前还没有克服维数灾的 有效的一般方法。

§5 若干典型问题的动态规划模型
; U& A' D) C5 W5.1 最短路线问题
8 Y0 b, c  [# \% J& ^  m4 R; `0 X
* Z3 ~( m0 {+ K0 q' K# W. j& e. m3 D
+ `3 u7 i/ r7 p% U
8 ~: k# v2 q6 {$ \' e2 ?- D9 V* R" {4 E5.2 生产计划问题
- u7 T8 k% y) C) G0 {& K  _4 A$ q# L

8 G6 W5 ^- ?) u3 Q& M) l! s3 {

/ ~  h1 W1 C1 m3 c. `

. ]4 x! y) `, Y3 z5.3 资源分配问题
( {9 i# P, K6 c1 N' v/ Y) Z0 f一种或几种资源（包括资金）分配给若干用户，或投资于几家企业，以获得最大的 效益。资源分配问题（resource allocating Problem）可以是多阶段决策过程，也可以是 静态规划问题，都能构造动态规划模型求解。下面举例说明。
( k% J' B) ?. Z% c! F





. H5 r9 ~2 r: y% e, Q+ J2 w! {" x
% p8 K1 B3 Q( P$ S# F0 h' F' q: E————————————————
" k* Y/ K$ N8 y4 m* D& A版权声明：本文为CSDN博主「wamg潇潇」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_29831163/article/details/89676570
, T6 {5 F  m5 h9 i& X4 T8 z
" o% r7 }. T% |3 }# v
( }1 L, E7 p# @2 ^. i5 k