运筹与优化中的优化与深度学习

2744557306

人工智能本质上是一个最优化过程，对于我们要实现的智能，也就是通过学习求得最优解，人工智能技术的最后几乎都是回到最优解问题上。机器学习、深度学习的核心是模型和算法，而最优化的任务就是告诉模型应该学什么、怎么学和如何才能学得更好。    模型学习往往都归结为求一个带参数的映射函数，需要运用大量数据学到这些参数，并通过不断的测试运行，才能发现模型中参数的优劣。    最优化的任务就是调整参数，向着好的方面调整，假如没有最优化，模型就不知道该怎么学习而导致停滞不前。模型的训练一般会给参数随机赋初始值，然后采用各种优化算法来寻找能让信息量损失或分类错误率更小的参数设置。常用的有一阶算法（如随机梯度下降法、共轭梯度法等）和二阶算法（如基于BFGS或L-BFGS，截断牛顿法(Hessian-free)、Newton-CG等）。
; L, @: f. S* K2 k$ t
9 ~& R7 W2 B. t8 j( X
  R; q+ g; R  g