机器学习中的加速一阶优化算法
上QQ阅读APP看书,第一时间看更新

1.4 关于本书

在前面几节,我们简要介绍了机器学习中的常见优化问题及加速一阶算法的代表性工作.但由于篇幅有限,本书并不会对所有提到的方法进行详细介绍,而是根据我们的个人喜好和熟悉程度介绍部分结果和证明.本书将按如下顺序介绍相关算法:用于求解无约束凸优化问题的确定性加速算法(第2章)、用于求解带约束凸优化问题的确定性加速算法(第3章)、用于求解无约束非凸问题的确定性加速算法(第4章)、随机加速算法(第5章)和分布式加速算法(第6章).为方便读者,在本书中我们对每一个介绍的算法都给出其证明细节.本书作为优化领域部分最新进展的参考资料,可作为相关专业的研究生教材,也可供对机器学习和优化感兴趣的研究人员阅读参考.但是,关于非凸优化中达到临界点(第4.2节)、逃离鞍点(Saddle Point,第4.3节)和分布式优化中的去中心化算法(第6.2.2节)的证明较为复杂,不感兴趣的读者可以略过.