优化是许多与数值计算相关的研究领域（例如机器学习、信号处理、工业设计和运筹学等）的支撑技术．特别地，AAAI会士、华盛顿大学教授P. Domingos曾经提出如下著名的公式［Domingos，2012］：
机器学习=表示+优化+评估，
其中“表示”是指建立面向特定机器学习任务的数学模型，“评估”是指评价机器学习模型在测试数据上的性能，而“优化”则是求解机器学习模型的最优参数，即通常的训练过程．优化在机器学习系统中起着承上启下的作用，由此可见它在机器学习中的重要性．
