机器学习(第2版)
上QQ阅读APP看书,第一时间看更新

1.1.2 机器学习主要流派

在人工智能的发展过程中,随着人们对智能的理解和现实问题的解决方法的演变,机器学习大致出现了符号主义、贝叶斯分类、联结主义、进化计算和行为主义五大流派。

1.符号主义

符号主义源于逻辑学、哲学,实现方法是用符号表示知识,并用规则进行逻辑推理,其中专家系统和知识工程是这一流派的代表性成果。符号主义流派认为知识是信息符号的表示,是人工智能的基础,将这些符号输入计算机中进行模拟推理,从而实现人工智能。

2.贝叶斯分类

贝叶斯分类的基础是贝叶斯定理,贝叶斯定理是概率论中的一个定理,其中 p(A|B)是在事件B发生的情况下事件A发生的可能性(条件概率)。贝叶斯分类已经被应用于许多领域。例如,自然语言中的情感分类、自动驾驶中对汽车周围情况的分类和垃圾邮件过滤等。

3.联结主义

联结主义源于神经科学,主要算法是神经网络,由大量神经元以一定的结构组成。人的神经元是一种看起来像树形的细胞。每个神经元可以有一个或多个树突,可以接受刺激并将兴奋传入细胞体。每个神经元只有一个轴突,可以把兴奋从细胞体传送到另一个神经元或其他组织,如图1-1(a)所示。神经元之间是互相连接的,这样形成了一个大的神经网络,人类所学会的知识基本都存在其中。

在图1-1(b)所示的神经网络中,将n个相连接的神经元的输出作为当前神经元的输入,进行加权计算,并加一个偏置(Bias)之后通过激活函数来实现变换,激活函数的作用是将输出控制在一定的范围内。以Sigmoid函数为例,输入从负无穷到正无穷,经过激活之后映射到(0,1)区间。

(a) (b)

图1-1 神经元结构

人工神经网络是以层(Layer)的形式组织起来的,每一层中包含多个神经元,层与层之间通过一定的结构连接起来,对神经网络进行训练的目的就是找到网络中各个突触连接的权重和偏置。作为一种监督学习算法,训练神经网络时通过不断反馈当前网络计算结果与训练数据之间的误差来修正网络权重,使误差足够小,这就是BP算法。

4.进化计算

19世纪50年代,英国生物学家查尔斯·罗伯特·达尔文(Charles Robert Darwin)提出进化论。在微观上,DNA(Deoxyribonucleic Acid,脱氧核糖核酸)是线性串联编码,进化过程是基因交叉、突变的过程。在宏观上,进化过程是生物个体适应环境的优胜劣汰过程。生物个体要适应不断变化的环境,通过对其进化的过程进行建模,可以描述智能行为。进化算法(Evolutionary Algorithm,EA)是在计算机上模拟进化过程,基于“物竞天择,适者生存”的原则,不断迭代优化,直到找到最佳的结果。进化算法包括基因编码、种群初始化、交叉变异算子等基本操作,是一种比较成熟的具有广泛适用性的全局优化算法,具有自组织、自适应、自学习的特性,能够有效地处理传统优化算法难以解决的复杂问题(例如NP困难优化问题)。

遗传算法的优化要视具体情况进行算法选择,也可以与其他算法相结合,对其进行补充。对于动态数据,用遗传算法求最优解可能会比较困难,种群可能会过早收敛。

5.行为主义

这一流派的代表是强化学习。它观察智能体动作与环境之间的互动结果,强调如何基于环境的反馈,不断改变活动策略,以取得最大化的预期利益。通过分析环境给予的奖励或惩罚的刺激,逐步形成对刺激的预期,以获得最优行为决策。