2.1.3 常见的损失函数

损失函数是指导模型进行有效学习的基础，基于不同的任务可以选择或者设计不同的损失函数，使得模型可以从数据中挖掘出有价值的信息。下面我们介绍几种常见的损失函数。

1.平方损失函数

平方损失的定义如式（2.2）所示：

其中N是样本数量，它衡量的是模型预测的结果与标签之间的平方差，常用于回归类问题。

2.交叉熵损失

交叉熵（cross entropy）损失常用于分类问题中，分类模型通常输出类别的概率分布，交叉熵衡量的是数据标签的真实分布与分类模型预测的概率分布之间的差异程度，损失值越小，它们之间的差异就越小，模型就越能准确地进行预测。其离散形式如下：

其中p，q分别表示数据标签的真实分布和模型预测给出的分布，p（yi|xi）表示样本xi标签的真实分布。一般来说，样本xi只属于某个类别ck，因此p（yi=ck|xi）=1，在其他类别上概率为0。表示给定样本xi模型预测在各个类别上的概率分布。如果样本xi的标签为ck，那么式（2.3）可以简化为式（2.4）：

可以看出在这种情况下，最小化交叉熵损失的就是最大化样本标签的似然概率。

对于二分类来说yi∈{0，1}，使用逻辑回归可以得到样本xi属于类别1的概率q（yi=1|xi），那么样本属于类别0的概率为1–q（yi=1|xi），使用式（2.4），可以得到逻辑回归的损失函数，如式（2.5）所示，它也被称为二元交叉熵损失。