3.2　线性判别函数

判别函数分为线性判别函数和非线性判别函数。最简单的判别函数是线性判别函数，它是由所有特征量的线性组合构成的。我们现在对两类问题和多类问题分别进行讨论。

1．两类问题

对于两类问题，也就是W_i=（ω₁，ω₂）^T。

1）二维情况

取二维特征向量X=（x₁，x₂）^T，这种情况下的判别函数g（x）=ω₁x₁+ω₂x₂+ω₃，其中，ω_i（i=1，2，3）为参数；x₁和x₂为坐标值，判别函数g（x）具有以下性质：当x∈ω₁时，g_i（x）＞0；当x∈ω₂时，g_i（x）＜0；当x不定时，g_i（x）=0。这是二维情况下由判别边界分类。

2）n维情况

对于n维情况，现抽取n维特征向量：X=（x₁，x₂，…，x_n）^T，判别函数为g（x）=W₀X+ω_n+1。其中，W₀=（ω₁，ω₂，…，ω_n）^T为权向量；X=（x₁，x₂，…，x_n）^T为模式向量。另外一种表示方法是g（x）=W^TX。其中，W=（ω₁，ω₂，…，ω_n，ω_n+1）^T为增值权向量；X=（x₁，x₂，…，x_n，1）^T为增值模式向量。

在这种情况下，当x∈ω₁时，g（x）＞0；当x∈ω₂时，g（x）＜0；g₁（x）=0为边界，当n=2时，边界为一条直线，当n=3时，边界为一个平面，当n＞3时，边界为超平面。

2．多类问题

对于多类问题，模式有ω₁，ω₂，…，ω_M个类别，可以分为下面三种情况。

1）第一种情况

每个模式类与其他模式可用单个判别平面分开，这时M个类有M个判别函数，且具有性质

式中，W_i=（ω_i1，ω_i2，…，ω_in+1）^T为第i个判别函数的权向量。当x∈ω_i时，g_i（x）＞0，其他情况下g_i（x）＜0，也就是每一个类别可以用单个判别边界与其他类别相分开。

2）第二种情况

每个模式类和其他模式类之间可以用判别平面分开，这样就有个平面，对于两类问题，M=2，则有1个判别平面，同理对于三类问题，就有3个判别平面。判别函数为

式中，i≠j，判别边界为g_ij（x）=0，条件为：当x∈ω_i时，g_ij（x）＞0；当x∈ω_j时，g_ij（x）＜0。

3）第三种情况

每类都有一个判别函数，存在M个判别函数：g_k（x）=W_kX（k=1，2，…，M），边界为g_i（x）=g_j（x），条件为：当x∈ω_i时，g_i（x）最大；其他情况下g_i（x）小。也就是说，要判别X属于哪一个类，先把X代入M个判别函数，判别函数最大的那个类就是X所属类别。