3.8　神经网络学习算法的基本步骤

在1.1节中，简要介绍了“机器学习模型三步骤”，现在学习了损失函数、梯度下降法、mini-batch等知识后，可以稍微展开一下神经网络学习算法的基本步骤。

前提：神经网络存在合适的权重和阈值。学习算法就是要通过训练数据的不断迭代拟合，找出这个合适的权重和阈值。神经网络的学习分成下面4个步骤：

步骤1（mini-batch）：从训练数据中随机选出一部分数据，这部分数据称为mini-batch，目标是减小mini-batch的损失函数的值。

步骤2（计算梯度）：为了减小mini-batch的损失函数的值，需要求出各个权重参数的梯度。梯度表示损失函数的值减小最多的方向。

步骤3（更新参数）：将权重参数沿梯度方向进行微小更新。

步骤4（重复）：重复步骤1、步骤2、步骤3，直至满足要求。

实际上，神经网络的参数有很多：神经元数量、连接权重、阈值、batch大小、学习率，以及这些参数的初始值。而神经元数量、batch大小、学习率，以及参数的初始值，是整个神经网络的全局参数，是在训练之前设定的，所以称超参数。它们的确定影响整个学习过程的所有神经元。