最速下降法与牛顿法结合求无约束最优值（mtlab动画演示）

风奔跑

<p>哈哈，我已经实现了最速下降法语牛顿发的结合，并且还可以动画演示其求解最优值的迭代过程。都已在程序上实现了。（matlab）.运行的时，最速下降精度不要弄得太小，到后面的牛顿精度就可以取任意值了。</p><p>
5 d6 j7 C- n9 u/ }0 i- q        </p><p>tic</p><p>clc;clear;<br/>syms x1 x2<br/>G=[];<br/>G=input('请输入想x1^2,x2^2,x1*x2,x1,x2,常系数,如[1,2,3,4,5,6] 系数向量=:');<br/>a=G(1,1);b=G(1,2);c=G(1,3);d=G(1,4);e=G(1,5);g=G(1,6);<br/>f=a*x1^2+b*x2^2+c*x1*x2+d*x1+e*x2+g;</p><p>%画出原始图像<br/>figure;<br/>x11=-100:0.5:100;<br/>x22=x11;<br/>[x11,x22]=meshgrid(x11,x22);<br/>f11=a.*x11.^2+b*x22.^2+c*x11.*x22+d.*x11+e.*x22+g;<br/>surf(f11),grid on,hold on;<br/>%画出原始图像</p><p>df1=diff(f,x1);df2=diff(f,x2);%对函数进行求一阶导<br/>DF=[df1;df2];<br/>df11=diff(df1,x1);df12=diff(df1,x2);<br/>df21=diff(df2,x1);df22=diff(df2,x2);%这里进行求函数二阶导数<br/>DEE=[df11,df12;df21,df22];<br/>x=input('请输入x的初始值为x=[x1,x2],x=:');<br/>x=x';<br/>E=input('请输入你所要求的最速下降法的精度数（一般取3～5）E=:');</p><p>%这里进行一些相关初始值的计算<br/>T=[];<br/>d=T;<br/>T(:,1)=subs(DF,[x1,x2],[x(1),x(2)]);<br/>TH=subs(DEE,[x1,x2],[x(1),x(2)]);<br/>%这里进行一些相关初始值的计算</p><p>disp('由于你输入的初始值，这里将开始最速下降法搜寻：');<br/>           for k=1:100000<br/>    d(:,1)=-T(:,1);%d(k)是x(k+1)=x(k)+A(k)*d(k)<br/>    A(1)=(T(:,1)'*T(:,1))/(T(:,1)'*TH*T(:,1));<br/>    TH=subs(DEE,[x1,x2],[x(1,k),x(2,k)]);<br/>    T(:,k)=subs(DF,[x1,x2],[x(1,k),x(2,k)]);<br/>    d(:,k+1)=-T(:,k);<br/>
                <br/>       A(k)=(T(:,k)'*T(:,k))/(T(:,k)'*TH*T(:,k));<br/>
5 g: S, x% H5 R6 u                <br/>       KLJ(:,k)=norm(T(:,k));<br/>      GG(k)=subs(f,[x1,x2],[x(1,k),x(2,k)]);<br/>               if norm(T(:,k))&lt;E<br/>                   disp('有这里你就进入牛顿法求最优了');<br/>                   disp('                             ');<br/>                   disp('FX就是最速下的解  ')<br/>                   FX=subs(f,[x1,x2],[x(1,k),x(2,k)])<br/>                   disp('                   ');<br/>                   disp('对应的x值为   ');<br/>                   x(:,k)<br/>                   break;<br/>                end<br/>      x(:,k+1)=x(:,k)+A(k)*d(:,k);<br/>           end<br/>
                <br/>toc<br/>%画出最速下降迭代点最终停留位置<br/>figure;<br/>plot3(x11,x22,f11,'r'),grid on;<br/>for tk=1:k<br/>h1=line( 'Color' ,[0 1 0], 'Marker' , '.' , 'MarkerSize' ,20, 'EraseMode' , 'xor' ); <br/>set(h1, 'xdata' ,x(1,tk), 'ydata' ,x(2,tk), 'zdata' , GG(tk));<br/>drawnow; % 刷新屏幕<br/>pause(0.1);<br/>end<br/>fop1=getframe(gcf)<br/>image(fop1.cdata)<br/>%画出最速下降迭代点最终停留位置<br/>tic<br/>Y=x(:,k);<br/>EE=input('请输入牛顿最终的精度系数EE=：');<br/>TT(:,1)=subs(DF,[x1,x2],[Y(1),Y(2)]);<br/>THH=subs(DEE,[x1,x2],[Y(1),Y(2)]);<br/>aa=1;<br/>disp('程序可以运行到这里');<br/>for kk=1:10000<br/>     dd(:,kk)=-inv(THH)*TT(:,kk);<br/>     Y(:,kk+1)=Y(:,kk)+ aa*dd(:,kk);<br/>     THH=subs(DEE,[x1,x2],[Y(1,kk),Y(2,kk)]);<br/>   TT(:,kk+1)=subs(DF,[x1,x2],[Y(1,kk+1),Y(2,kk+1)]);<br/>   PP=norm(TT(:,kk));<br/>  GG1(kk)=subs(f,[x1,x2],[Y(1,kk),Y(2,kk)]);<br/>   if PP&lt;EE<br/>     disp('到这里您已经得到全局最优解了');<br/>     FXX=subs(f,[x1,x2],[Y(1,kk),Y(2,kk)])<br/>     disp('                            ');<br/>     disp('对应的x值为： ');<br/>     Y(:,kk)<br/>      break;<br/>  end<br/>end<br/>FXX=subs(f,[x1,x2],[Y(1,kk),Y(2,kk)])</p><p>toc<br/>%画出最终极值点停留位置<br/>figure;<br/>plot3(x11,x22,f11,'r'),grid on;<br/>for J=1:kk<br/>h2=line( 'Color' ,[0 1 0], 'Marker' , '.' , 'MarkerSize' ,40, 'EraseMode' , 'xor' ); <br/>set(h2, 'xdata' ,Y(1,J), 'ydata' ,Y(2,J), 'zdata' , GG1(1,J));<br/>pause(0.1);</p><p>fop=getframe(gcf);<br/>image(fop.cdata);<br/>end<br/>disp('现在程序已经结束了');<br/>%画出最终极值点停留位置</p><p>
: \$ S- a2 ~5 P) l$ l        </p><br/>

liwenhui

<p>高手！</p>

风奔跑

注意刚开始的最速下降的精度取：5～3之间较好

madio

能说说是怎样将两个方法结合的？是怎样的思路？

风奔跑

<p>我的思路是这样的： 最速下降法能找出全局最优点，但在接近最优点的区域内就会陷入“齿型”迭代中，使其每进行一步迭代都要花掉非常久的时间，这样长久的等待是无法忍受的，不信你就在我那个程序的第一步迭代中把精度取得很小如：0.000000001等，其实我等过一个钟都没有什么结果出来。</p><p>再者我们考究一下 牛顿迭代法求最优问题，牛顿法相对最速下降法的速度就快得多了，而且还有一个好处就是能高度逼近最优值，而不会出现死等待的现象。  如后面的精度，你可以取如：0.0000000000001等。</p><p></p><p>但是牛顿法也有缺点，就是要求的初始值非常严格，如果取不好，逼近的最优解将不收敛，甚至不是最优解。 就算收敛也不能保证那个结就是全局最优解，所以我们的出发点应该是：为牛顿法找到一个好的初始点，而且这个初始点应该是在全局最优点附近，这个初始点就能保证牛顿法高精度收敛到最优点，而且速度还很快。</p><p>思路概括如下：</p><p>1。用最速下降法在大范围找到一个好的初始点给牛顿法：（最速下降法在精度不是很高的情况下逼近速度也是蛮快的）</p><p>2。在最优点附近改用牛顿法，用最速下降法找到的点为牛顿法的初始点，提高逼近速度与精度。</p><p>3。这样两种方法相结合，既能提高逼近的精度，还能提高逼近的速度，而且还能保证是全局最优点。这就充分吸收各自的优点，扬长避短。得到理想的结果了。</p><p>不知我的回答满意吗？</p><p></p><p></p>

madio

为什么不用拟牛顿方法呢？使用牛顿法需要二阶导数信息，在最优解附近是否能满足呢？

风奔跑

恩，是有这个问题，我也在想可能用拟牛顿方法，因为海塞矩阵在那个附近不一定能求得可逆。不过可能程序要编起来就要更麻烦些了，而且基本上我们这个程序也能得到想要的结果，特殊情况没遇到过。 不过问题确实存在，恩，我看看能不能改好些！

catjessie

挺不错的想法,值得学习一下

lzh0601

要仔细看下了

songsxh

好东东啊，分享啦！谢谢啊！