机器学习中的加速一阶优化算法
上QQ阅读APP看书,第一时间看更新

第2章 无约束凸优化中的加速算法

本章将简要介绍用于求解无约束凸优化问题的若干加速梯度法.作为最基础的一阶算法,加速梯度法由于其理论基础扎实、实际性能优越,而且实现简单,在机器学习领域被广泛使用.本章将首先介绍求解光滑凸优化问题的若干代表性加速梯度法,并将其扩展到复合凸优化(Composite Convex Optimization)问题,然后介绍非精确加速邻近梯度法、重启策略、平滑(Smoothing)策略、高阶加速梯度法,最后从变分的角度对加速机制进行解释.