第1章　补基础：不怕学不懂微积分

机器学习是一门多学科交叉的学科，背后的数学原理涵盖微积分、线性代数、概率统计等相关内容，它的核心是“使用算法解析数据并从中学习，然后对世界上的某件事情做出预测”。机器学习有着广阔的应用空间，能发挥巨大作用，但要深入掌握算法的内部原理就必须了解相关算法背后的数学原理。搞清楚这些数学原理相关的知识，可以帮助我们选择正确的算法、选择参数设置和验证策略、识别欠拟合和过拟合现象等。微积分就是机器学习背后极其重要且不可或缺的一类数学知识。绝大多数机器学习算法在训练或者预测时会碰到最优化问题，而最优化问题的解决需要用到微积分中函数极值的求解知识，可以说微积分是机器学习数学大厦的基石。

微积分是一门由工程实践问题“催生”的学科，大量的工程实践问题促使了微积分的产生，总结来说主要有以下4类问题。

（1）求解变速运动的瞬时速度。

（2）求解曲线上某点处的切线。

（3）求解函数的最大值和最小值。

（4）求解曲线的长度、曲面的面积、物体体积等。

从微分和积分的应用来看，前3类问题主要应用微分知识，最后一类问题主要应用积分知识。微积分的应用如图1-1所示。

图1-1　微积分的应用

微积分包含众多知识点，例如极限概念、求导公式、乘积法则、链式法则、隐函数求导、积分中值定理、泰勒公式等。其中，研究导数、微分及其应用的部分一般称为微分学，研究不定积分、定积分及其应用的部分一般称为积分学。微分学和积分学统称为微积分学，而微积分基本定理则将微分和积分进行关联。由于泰勒定理本质上是微积分基本定理的连用，因此从总体上来看微积分包括核心概念和关键技术，其中核心概念是微分和积分，关键技术是微积分基本定理和泰勒定理。微积分知识体系如图1-2所示。

图1-2　微积分知识体系

最简单的函数是一次函数，最简单的方程是一次方程，微积分的基本思想就是将其他复杂的函数或者方程变成一次函数或一次方程来研究。根据近似的精确度不同，微积分可以分为以下几种情况。

第一种情况，用常数项近似代替某个函数在某点附近的数值，这就是极限，误差是无穷小。

第二种情况，用一次函数近似代替某个函数在某点附近的数值，这就是微分，误差为高阶无穷小。

第三种情况，用泰勒公式近似代替某个函数在某点附近的数值，误差比前两种情况都要小。从近似的精确度来看，泰勒公式的极限最低，但精确度是最高的。