【机器学习】从数值最优化方法到学习最优化方法

qq_1537237806

传统最优化问题的求解方法主要是以梯度法为基础的数值最优化方法,它是解析与数值计算相结合的迭代求解方法,是一种基于固定模式的最优化方法.算法的迭代过程实质上是对迭代点进行非线性变换的过程,该非线性变换是通过一系列方向和步长来实现.对于最优化问题的每一个实例,都需要从头到尾执行整个算法,计算复杂度是固定的.一旦算法被程序实现,算法的效率(计算精度和复杂度)就被固定.人工智能解决问题的方法都具有学习功能.随着人工智能,特别是深度学习的兴起,学习类方法在一些领域取得了巨大的成功,如图像识别(特别是人脸识别、车牌识别、手写字符识别等)、网络攻击防范、自然语言处理、自动驾驶、金融、医疗等.本文从新的视角研究传统的数值最优化方法和智能优化方法,分析其特点,由此引出学习最优化方法,并对它们进行了对比,提出了学习最优化方法的设计思路.最后,以组合最优化为例,对该类方法的设计原理进行阐述.
1 G- I) ?2 Y3 l" `
# [( N. M+ e) _& u$ c