2.1　贝叶斯决策及贝叶斯公式

2.1.1　贝叶斯决策简介

贝叶斯决策理论就是在不完全情报下，对部分未知的状态用主观概率进行估计，然后用贝叶斯公式对发生的概率进行修正，最后再利用期望值和修正概率做出最优决策。

贝叶斯决策属于风险型决策，决策者虽不能控制客观因素的变化，但却掌握其变化的可能状况及各状况的分布概率，并利用期望值即未来可能出现的平均状况作为决策准则。

贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想如下。

（1）已知类条件概率密度参数表达式和先验概率。

（2）利用贝叶斯公式转换成后验概率。

（3）根据后验概率大小进行决策分类。

2.1.2　贝叶斯公式

若已知总共有M类样品，以及各类在n维特征空间的统计分布，根据概率知识可以通过样品库得知已知各类别ω_i（i=1，2，…，M）的先验概率P（ω_i）及类条件概率密度函数P（X｜ω_i）。对于待测样品，贝叶斯公式可以计算出该样品分属各类别的概率，叫作后验概率；比较各个后验概率，取P（ω_i｜X）的最大值，就把X归于后验概率最大的那个类。贝叶斯公式为

1．先验概率

先验概率P（ω_i）代表还没有训练数据前ω_i拥有的初始概率。P（ω_i）反映了我们所拥有的关于ω_i是正确分类的背景知识，它是独立于样本的。如果没有这一先验知识，那么可以简单地将每一候选类别赋予相同的先验概率，通常用样本中属于ω_i的样本数与总样本数的比值来近似。

2．后验概率

后验概率是关于随机事件或者不确定性断言的条件概率，是在相关证据或者背景给定并纳入考虑之后的条件概率。后验概率分布就是以未知量作为随机变量的概率分布，并且是在基于实验或者调查所获得的信息上的条件分布。“后验”在这里的意思是考虑相关事件已经被检视并且能够得到一些信息。这种可能性可用P（y_m｜x）表示。可以利用贝叶斯公式来计算这种条件概率，称为状态的后验概率P（y_m｜x）。

P（y_m｜x）表示在x出现的条件下样品为y_m类的概率。在这里要弄清楚条件概率这个概念。

3．先验概率与后验概率的区别

先验概率是指根据以往经验和分析得到的概率，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因”。后验概率是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。先验概率和后验概率是相对的。如果以后还有新的信息引入，更新了现在所谓的后验概率，得到新的概率值，那么这个新的概率值被称为后验概率。