2.2.3 Softmax输出分类

Softmax函数也称归一化指数函数或多项（Multinomial）、多类（Multi-Class）的回归。将一个含任意实数的K维向量Z压缩到一个K维实向量σ（z）中，使得向量中每一个元素的值都在（0，1）区间，且所有元素的和为1，即向量离散概率分布的梯度对数归一化。

在人工神经网络中，该函数主要用于解决多分类问题。对于多分类任务，类别标签y∈{1，2，…，K}，可以有K个取值。Softmax回归预测的属于每个分类i的概率为

其中，分母充当了正则项的作用，有。

对于一个有K个神经元x的输出层，式（2-21）中的每个分类i的条件概率为

其中，w_i是分类i的权重向量。

式（2-22）的向量形式表示为

其中，W=[w₁，…，w_K]是由K个类的权值向量组成的矩阵；1_K为K维的全1向量；为所有类别的预测条件概率组成的向量，第i维的值是分类i的预测条件概率。

Softmax模型的训练过程为首先初始化W₀←0，然后通过下式进行迭代更新：

其中，η是学习率；是当参数为W_t时，Softmax模型的输出。

例2.1 某个神经元网络有7个输出值，向量为[1.0，2.0，3.0，10.0，1.0，2.0，3.0]。求Softmax函数的值，并输出一个one-hot编码形式的二分类结果。

解：因为e1≈2.72，e2≈7.39，e3≈20.09，e4≈22026.47，e5≈2.72，e6≈7.39，e7≈20.09，所以有

P₅≈0.00012

P₆≈0.00033

P₇≈0.00091

因此最后输出二分类one-hot编码形式的结果为[0，0，0，1，0，0，0]。以下为例2.1的代码实现过程。