3.1 支持向量机简介
支持向量机是Cortes等人于1995年提出的,因在文本分类任务中显示出卓越性能,很快成为机器学习的主流技术,并引发了2000年前后的“统计学习”(statistical learning)的高潮。实际上,支持向量机的概念早在20世纪60年代就已出现,而统计学习理论在20世纪70年代就已成型。
支持向量机建立在结构风险最小化原则的基础之上,其核心思想之一是引入核函数技术,巧妙地解决在高维特征空间中计算的“维数灾难”等问题。因为核函数决定了支持向量机的非线性处理能力,所以核函数及其参数的选择在支持向量机中占据着相当重要的地位,也是支持向量机的研究热点方向之一。然而,不同的核函数所呈现的特性各异,选择不同的核函数会导致支持向量机的推广性能有所不同。对核函数的研究可以追溯到更早的时候,Mercer定理可追溯到1909年,而再生核希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS)在20世纪40年代就已经得到研究,但在统计学习兴起后,核函数技术才真正成为机器学习的通用基本技术。
支持向量机是建立在统计学习理论和VC(Vapnik-Chervonenkis)维理论基础上的一种新型机器学习方法,可以根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折中,以期获得最好的推广能力。支持向量机可以确保找到的极值解是全局最优解而非局部最小值,这也就决定了它对未知样本有较好的泛化能力,故能良好地应用到模式识别中的手写数字识别、文本分类、图像分类与识别等众多领域。
支持向量机是以分析统计理论为基础,并在此基础上形成的一种模式分类方法,同时也是结构风险最小化(Structural Risk Minimization,SRM)准则的具体实现方式。研究支持向量机最重要的工作就是对支持向量机的本质特征进行分析,它最初是由线性分析问题中的最优分类问题发展而来的,在解决完模式识别的问题之后,被推广到了函数回归以及密度估计的领域。支持向量机算法除了可以应用于模式识别领域,还可以应用于自然语言处理领域。按照不同的模型,支持向量机可分为线性支持向量机、非线性支持向量机。