第3章　判别函数分类器设计

3.1　判别函数简介

判别函数是统计模式识别中用以对模式进行分类的一种较简单的函数。在特征空间中，通过学习，不同的类别可以得到不同的判别函数，比较不同类别的判别函数值的大小，就可以进行分类。统计模式识别方法把特征空间划分为决策区对模式进行分类，一个模式类同一个或几个决策区相对应。

设有c个类别，对于每一个类别ω_i（i=1，2，…，c）定义一个关于特征向量X的单值函数g_i（X）：①如果X属于第i类，那么g_i（X）＞g_j（X）（i，j=1，2，…，c，j≠i）；②如果X在第i类和第j类的分界面上，那么g_i（X）=g_j（X）（i，j=1，2，…，c，j≠i）。

人们已研究出多种求取决策边界的算法，线性判别函数的决策边界是一个超平面方程式，其中的系数可以从已知类别的学习样本集求得。F.罗森布拉特的错误修正训练程序是求取两类线性可分分类器决策边界的早期方法之一。在用线性判别函数不可能对所有学习样本正确分类的情况下，可以规定一个准则函数（例如对学习样本的错分数最少）并用使准则函数达到最优的算法求取决策边界。用线性判别函数的模式分类器也称为线性分类器或线性机，这种分类器计算简单，不要求估计特征向量的类条件概率密度，是一种非参数分类方法。

当用贝叶斯决策理论进行分类器设计时，在一定的假设下也可以得到线性判别函数，这无论对于线性可分或线性不可分的情况都是适用的。在问题比较复杂的情况下可以用多段线性判别函数（见近邻法分类、最小距离分类）或多项式判别函数对模式进行分类。一个二阶的多项式判别函数可以表示为与它相应的决策边界是一个超二次曲面。

本章介绍线性判别函数和非线性判别函数，用以对酒瓶的颜色进行分类，其中实现线性判别函数分类的方法有LMSE分类算法和Fisher分类，实现非线性判别函数分类的方法有基于核的Fisher分类和支持向量机。