请选择 进入手机版 | 继续访问电脑版

QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 4996|回复: 4

动态规划算法

[复制链接]
字体大小: 正常 放大

413

主题

36

听众

1854

积分

升级  85.4%

  • TA的每日心情
    开心
    2019-9-18 21:55
  • 签到天数: 258 天

    [LV.8]以坛为家I

    社区QQ达人

    群组2015国赛冲刺

    群组2016美赛公益课程

    群组国赛讨论

    群组第三届数模基础实训

    群组Matlab讨论组

    发表于 2015-8-31 16:34 |显示全部楼层
    |招呼Ta 关注Ta
    五大常用算法之二:动态规划算法
    一、基本概念
        动态规划过程是:每次决策依赖于当前状态,又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的,所以,这种多阶段最优化决策解决问题的过程就称为动态规划。
    二、基本思想与策略
        基本思想与分治法类似,也是将待求解的问题分解为若干个子问题(阶段),按顺序求解子阶段,前一子问题的解,为后一子问题的求解提供了有用的信息。在求解任一子问题时,列出各种可能的局部解,通过决策保留那些有可能达到最优的局部解,丢弃其他局部解。依次解决各子问题,最后一个子问题就是初始问题的解。
        由于动态规划解决的问题多数有重叠子问题这个特点,为减少重复计算,对每一个子问题只解一次,将其不同阶段的不同状态保存在一个二维数组中。
        与分治法最大的差别是:适合于用动态规划法求解的问题,经分解后得到的子问题往往不是互相独立的(即下一个子阶段的求解是建立在上一个子阶段的解的基础上,进行进一步的求解)


    三、适用的情况
    能采用动态规划求解的问题的一般要具有3个性质:
        (1) 最优化原理:如果问题的最优解所包含的子问题的解也是最优的,就称该问题具有最优子结构,即满足最优化原理。
        (2) 无后效性:即某阶段状态一旦确定,就不受这个状态以后决策的影响。也就是说,某状态以后的过程不会影响以前的状态,只与当前状态有关。
       (3)有重叠子问题:即子问题之间是不独立的,一个子问题在下一阶段决策中可能被多次使用到。(该性质并不是动态规划适用的必要条件,但是如果没有这条性质,动态规划算法同其他算法相比就不具备优势

    四、求解的基本步骤
         动态规划所处理的问题是一个多阶段决策问题,一般由初始状态开始,通过对中间阶段决策的选择,达到结束状态。这些决策形成了一个决策序列,同时确定了完成整个过程的一条活动路线(通常是求最优的活动路线)。如图所示。动态规划的设计都有着一定的模式,一般要经历以下几个步骤。
        初始状态→│决策1│→│决策2│→…→│决策n│→结束状态
                          图1 动态规划决策过程示意图
        (1)划分阶段:按照问题的时间或空间特征,把问题分为若干个阶段。在划分阶段时,注意划分后的阶段一定要是有序的或者是可排序的,否则问题就无法求解。
        (2)确定状态和状态变量:将问题发展到各个阶段时所处于的各种客观情况用不同的状态表示出来。当然,状态的选择要满足无后效性。
        (3)确定决策并写出状态转移方程:因为决策和状态转移有着天然的联系,状态转移就是根据上一阶段的状态和决策来导出本阶段的状态。所以如果确定了决策,状态转移方程也就可写出。但事实上常常是反过来做,根据相邻两个阶段的状态之间的关系来确定决策方法和状态转移方程。
        (4)寻找边界条件:给出的状态转移方程是一个递推式,需要一个递推的终止条件或边界条件。
        一般,只要解决问题的阶段、状态和状态转移决策确定了,就可以写出状态转移方程(包括边界条件)。
    实际应用中可以按以下几个简化的步骤进行设计:
        (1)分析最优解的性质,并刻画其结构特征。
        (2)递归的定义最优解。
        (3)以自底向上或自顶向下的记忆化方式(备忘录法)计算出最优值
        (4)根据计算最优值时得到的信息,构造问题的最优解

    五、算法实现的说明
        动态规划的主要难点在于理论上的设计,也就是上面4个步骤的确定,一旦设计完成,实现部分就会非常简单。
         使用动态规划求解问题,最重要的就是确定动态规划三要素:
        (1)问题的阶段
        (2)每个阶段的状态
        (3)从前一个阶段转化到后一个阶段之间的递推关系。
         递推关系必须是从次小的问题开始到较大的问题之间的转化,从这个角度来说,动态规划往往可以用递归程序来实现,不过因为递推可以充分利用前面保存的子问题的解来减少重复计算,所以对于大规模问题来说,有递归不可比拟的优势,这也是动态规划算法的核心之处
        确定了动态规划的这三要素,整个求解过程就可以用一个最优决策表来描述,最优决策表是一个二维表,其中行表示决策的阶段,列表示问题状态,表格需要填写的数据一般对应此问题的在某个阶段某个状态下的最优值(如最短路径,最长公共子序列,最大价值等),填表的过程就是根据递推关系,从1行1列开始,以行或者列优先的顺序,依次填写表格,最后根据整个表格的数据通过简单的取舍或者运算求得问题的最优解。
    f(n,m)=max{f(n-1,m), f(n-1,m-w[n])+P(n,m)}

    1. 六、动态规划算法基本框架 <div class="cnblogs_code"><div class="cnblogs_code_toolbar"><span class="cnblogs_code_copy"><a title="复制代码" href="javascript:void(0);"><img alt="复制代码" src="http://common.cnblogs.com/images/copycode.gif"></a></span></div><span><b><span><img class="code_img_closed" id="code_img_closed_0fb2c384-b841-4b8a-9982-21376bd5ad77" style="display: none;" src="http://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif"><img class="code_img_opened" id="code_img_opened_0fb2c384-b841-4b8a-9982-21376bd5ad77" src="http://images.cnblogs.com/OutliningIndicators/ExpandedBlockStart.gif"><span class="cnblogs_code_collapse">代码</span></span></b></span> <div id="cnblogs_code_open_0fb2c384-b841-4b8a-9982-21376bd5ad77"><pre><div><span style="color: rgb(0, 128, 128);"><span><b><span> 1</span></b></span></span><span><b><span> <span style="color: rgb(0, 0, 255);">for</span><span style="color: rgb(0, 0, 0);">(j</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">; j</span><span style="color: rgb(0, 0, 0);"><=</span><span style="color: rgb(0, 0, 0);">m; j</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">j</span><span style="color: rgb(0, 0, 0);">+</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">) </span><span style="color: rgb(0, 128, 0);">//</span><span style="color: rgb(0, 128, 0);"> 第一个阶段</span><span style="color: rgb(0, 128, 0);">
    2. </span><span style="color: rgb(0, 128, 128);"> 2</span> <span style="color: rgb(0, 128, 0);"> </span><span style="color: rgb(0, 0, 0);">  xn[j] </span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);"> 初始值;
    3. </span><span style="color: rgb(0, 128, 128);"> 3</span> <span style="color: rgb(0, 0, 0);">
    4. </span><span style="color: rgb(0, 128, 128);"> 4</span> <span style="color: rgb(0, 0, 0);"> </span><span style="color: rgb(0, 0, 255);">for</span><span style="color: rgb(0, 0, 0);">(i</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">n</span><span style="color: rgb(0, 0, 0);">-</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">; i</span><span style="color: rgb(0, 0, 0);">>=</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">; i</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">i</span><span style="color: rgb(0, 0, 0);">-</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">)</span><span style="color: rgb(0, 128, 0);">//</span><span style="color: rgb(0, 128, 0);"> 其他n-1个阶段</span><span style="color: rgb(0, 128, 0);">
    5. </span><span style="color: rgb(0, 128, 128);"> 5</span> <span style="color: rgb(0, 128, 0);"> </span><span style="color: rgb(0, 0, 0);">  </span><span style="color: rgb(0, 0, 255);">for</span><span style="color: rgb(0, 0, 0);">(j</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">; j</span><span style="color: rgb(0, 0, 0);">>=</span><span style="color: rgb(0, 0, 0);">f(i); j</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">j</span><span style="color: rgb(0, 0, 0);">+</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">)</span><span style="color: rgb(0, 128, 0);">//</span><span style="color: rgb(0, 128, 0);">f(i)与i有关的表达式</span><span style="color: rgb(0, 128, 0);">
    6. </span><span style="color: rgb(0, 128, 128);"> 6</span> <span style="color: rgb(0, 128, 0);"><span style="color: rgb(0, 0, 0);">     xi[j]</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">j</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">max(或min){g(xi</span><span style="color: rgb(0, 0, 0);">-</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">[j1:j2]), ......, g(xi</span><span style="color: rgb(0, 0, 0);">-</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">[jk:jk</span><span style="color: rgb(0, 0, 0);">+</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">])};</span><span style="color: rgb(0, 128, 128);"><span style="color: rgb(0, 0, 0);">
    7. </span><span style="color: rgb(0, 128, 128);"> 8</span> <span style="color: rgb(0, 0, 0);">
    8. </span><span style="color: rgb(0, 128, 128);"> 9</span> <span style="color: rgb(0, 0, 0);">t </span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);"> g(x1[j1:j2]); </span><span style="color: rgb(0, 128, 0);">//</span><span style="color: rgb(0, 128, 0);"> 由子问题的最优解求解整个问题的最优解的方案</span><span style="color: rgb(0, 128, 0);">
    9. </span><span style="color: rgb(0, 128, 128);">10</span> <span style="color: rgb(0, 128, 0);"><span style="color: rgb(0, 0, 0);">
    10. </span><span style="color: rgb(0, 128, 128);">11</span> <span style="color: rgb(0, 0, 0);">print(x1[j1]);
    11. </span><span style="color: rgb(0, 128, 128);">12</span> <span style="color: rgb(0, 0, 0);">
    12. </span><span style="color: rgb(0, 128, 128);">13</span> <span style="color: rgb(0, 0, 0);"><span style="color: rgb(0, 0, 255);">for</span><span style="color: rgb(0, 0, 0);">(i</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(128, 0, 128);">2</span><span style="color: rgb(0, 0, 0);">; i</span><span style="color: rgb(0, 0, 0);"><=</span><span style="color: rgb(0, 0, 0);">n</span><span style="color: rgb(0, 0, 0);">-</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">; i</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">i</span><span style="color: rgb(0, 0, 0);">+</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">)</span><span style="color: rgb(0, 128, 128);"><span style="color: rgb(0, 0, 0);">
    13. </span><span style="color: rgb(0, 128, 128);">15</span> <span style="color: rgb(0, 0, 0);">{  </span><span style="color: rgb(0, 128, 128);"><span style="color: rgb(0, 0, 0);">
    14. </span><span style="color: rgb(0, 128, 128);">17</span> <span style="color: rgb(0, 0, 0);">     t </span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);"> t</span><span style="color: rgb(0, 0, 0);">-</span><span style="color: rgb(0, 0, 0);">xi</span><span style="color: rgb(0, 0, 0);">-</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">[ji];
    15. </span><span style="color: rgb(0, 128, 128);">18</span> <span style="color: rgb(0, 0, 0);">
    16. </span><span style="color: rgb(0, 128, 128);">19</span> <span style="color: rgb(0, 0, 0);">     </span><span style="color: rgb(0, 0, 255);">for</span><span style="color: rgb(0, 0, 0);">(j</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">; j</span><span style="color: rgb(0, 0, 0);">>=</span><span style="color: rgb(0, 0, 0);">f(i); j</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">j</span><span style="color: rgb(0, 0, 0);">+</span><span style="color: rgb(128, 0, 128);">1</span><span style="color: rgb(0, 0, 0);">)</span><span style="color: rgb(0, 128, 128);"><span style="color: rgb(0, 0, 0);">
    17. </span><span style="color: rgb(0, 128, 128);">21</span> <span style="color: rgb(0, 0, 0);">        </span><span style="color: rgb(0, 0, 255);">if</span><span style="color: rgb(0, 0, 0);">(t</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">xi[ji])</span><span style="color: rgb(0, 128, 128);"><span style="color: rgb(0, 0, 0);">
    18. </span><span style="color: rgb(0, 128, 128);">23</span> <span style="color: rgb(0, 0, 0);">             </span><span style="color: rgb(0, 0, 255);">break</span><span style="color: rgb(0, 0, 0);">;</span><span style="color: rgb(0, 128, 128);"><span style="color: rgb(0, 0, 0);">
    19. </span><span style="color: rgb(0, 128, 128);">25</span> <span style="color: rgb(0, 0, 0);">}</span></span></span></span></span></span></span></span></span></span></span></b></span></div></pre></div><div class="cnblogs_code_toolbar"><span class="cnblogs_code_copy"><a title="复制代码" href="javascript:void(0);"><img alt="复制代码" src="http://common.cnblogs.com/images/copycode.gif"></a></span></div></div>
    复制代码




    zan
    数学中国版主团队!

    413

    主题

    36

    听众

    1854

    积分

    升级  85.4%

  • TA的每日心情
    开心
    2019-9-18 21:55
  • 签到天数: 258 天

    [LV.8]以坛为家I

    社区QQ达人

    群组2015国赛冲刺

    群组2016美赛公益课程

    群组国赛讨论

    群组第三届数模基础实训

    群组Matlab讨论组

    1. --------------------------------------------------------------------------------
    2. 六、动态规划算法基本框架

    3. 代码
    4. 1 for(j=1; j<=m; j=j+1) // 第一个阶段
    5. 2    xn[j] = 初始值;
    6. 3
    7. 4  for(i=n-1; i>=1; i=i-1)// 其他n-1个阶段
    8. 5    for(j=1; j>=f(i); j=j+1)//f(i)与i有关的表达式
    9. 6      xi[j]=j=max(或min){g(xi-1[j1:j2]), ......, g(xi-1[jk:jk+1])};
    10. 8
    11. 9 t = g(x1[j1:j2]); // 由子问题的最优解求解整个问题的最优解的方案
    12. 10
    13. 11 print(x1[j1]);
    14. 12
    15. 13 for(i=2; i<=n-1; i=i+1)
    16. 15 {  
    17. 17      t = t-xi-1[ji];
    18. 18
    19. 19      for(j=1; j>=f(i); j=j+1)
    20. 21         if(t=xi[ji])
    21. 23              break;
    22. 25 }
    复制代码

    数学中国版主团队!
    回复

    使用道具 举报

    1

    主题

    12

    听众

    31

    积分

    升级  27.37%

  • TA的每日心情
    擦汗
    2016-1-30 23:47
  • 签到天数: 22 天

    [LV.4]偶尔看看III

    社区QQ达人

    回复

    使用道具 举报

    0

    主题

    13

    听众

    51

    积分

    升级  48.42%

  • TA的每日心情

    2018-10-29 14:01
  • 签到天数: 50 天

    [LV.5]常住居民I

    自我介绍
    我是一名在校大学生,对数学建模有一定兴趣。为人乐观开放,喜欢交友。

    社区QQ达人

    群组2015司守奎matlab培训

    群组2016数学建模算法集锦

    群组2016国赛优秀论文解析

    群组2016国赛备战群组

    回复

    使用道具 举报

    971561500        

    0

    主题

    6

    听众

    136

    积分

  • TA的每日心情
    开心
    2019-1-25 09:13
  • 签到天数: 6 天

    [LV.2]偶尔看看I

    小学生

    网络挑战赛参赛者

    国际赛参赛者

    群组2018美赛备战交流群组

    群组A题

    群组B题

    群组C题

    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2024-3-29 07:21 , Processed in 0.541440 second(s), 74 queries .

    回顶部