1.3.1　前馈神经网络的模型

如图1-6所示，若第（l－1）层神经元为，l层神经元为，其层间权重参数矩阵为，偏置向量为，激活函数为σ（l）（·），则两层之间的传递计算关系为

以此迭代关系，可完成隐藏层前向计算。

输出层的激活函数往往需要与具体的任务相结合，深度学习中常见的任务有回归（Regression）任务和分类（Classification）任务。如果函数的输出是一个标量（即一个单独的数），我们定义其为回归任务；如果函数的输出为有限的几种可能（例如图片分类），我们定义其为分类任务；回归任务的激活函数为恒等函数，即直接输出输入信号线性变换后的值。分类任务的激活函数常常采用Softmax函数来实现多分类。

Softmax分类模型会有多个输出，且输出个数与类别个数相等，Softmax函数定义如下：

其中，为样本属于第k类的概率，表示最后的隐藏层神经元值。Softmax函数计算示意图如图1-7所示。

图1-7　Softmax激活函数计算示意图