2.4.2 监督学习的Delta规则

监督学习也称为有导师学习，采用的是纠错规则，在学习训练过程中，需要不断给网络成对地提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号”；将神经网络的实际输出同期望输出进行比较，当网络的实际输出与期望的“教师信号”不符时，根据差错的方向和大小按一定的规则调整权值，以使下一步网络的输出更接近期望输出。对于监督学习，网络在能执行工作任务前，必须先经过学习，当网络对各种给定的输入均能产生所期望的输出时，即认为网络已经在导师的训练下“学会”了训练数据集中包含的知识和规则，可以用来进行工作了。

在这种训练中，要求用户在给出输入向量的同时给出对应的期望输出向量。因此，采用这种训练方式训练的网络实现的是异相联的映射，输入向量与其对应的输出向量构成一个训练对。

监督学习训练算法的主要步骤如下。

（1）从样本集中取一个样本（A_i，B_i）。

（2）计算网络的实际输出O。

（3）求D=B_i-O。

（4）根据D调整权值矩阵W。

（5）对每个样本重复上述过程，直到对整个样本集来说误差不超过规定范围。

在监督学习训练算法中，最为重要、应用最普遍的是Delta规则。1960年，Widrow和Hoff提出了如下形式的Delta规则：

也可以写为

Grossberg的写法为

更一般的Delta规则为

在上述式子中，W_ij（t+1）、W_ij（t）分别表示神经元AN_i到AN_j的连接在时刻t+1和时刻t的强度；o_i（t）、o_j（t）为这两个神经元在时刻t的输出；y_i为神经元AN_i的期望输出；a_i（t）、a_j（t）分别为神经元AN_i到AN_j的激活状态；η为给定的学习率。