第2章神经网络算法_智能优化算法与涌现计算-QQ阅读男生都市网

上QQ阅读APP看书，第一时间看更新

第2章　神经网络算法

人工神经网络是一种神经计算模型，它在细胞的水平上模拟智能。通过建立人工神经元模型、神经网络模型及其学习算法，可以从连接机制上模拟人脑右半球的形象思维功能。信息的输入、处理和输出构成了神经元的三要素；神经元、神经网络模型及其学习算法构成了神经网络系统的三要素。一个三层BP神经网络可以逼近任何在闭区间内的一个连续函数，因而神经网络同模糊系统一样可用于参数优化、系统建模等领域。本章介绍神经细胞与神经网络的结构、神经网络的训练、学习规则及神经网络的逼近特性等。

2.1　神经细胞结构与功能

人的智能来源于大脑的一百多亿个神经细胞。一个神经细胞由细胞体、树突和轴突组成，如图2.1所示。细胞体由细胞核、细胞质和细胞膜组成。细胞体外面的一层厚为5～10nm的膜，称为细胞膜，膜内有一个细胞核和细胞质。树突是细胞体向外伸出的许多1mm左右长的树枝状突起，用于接收其他神经细胞传入的神经冲动。

图2.1　一个神经细胞的结构

图2.2　神经细胞的兴奋脉冲

神经细胞在结构上具有以下两个重要的特征。

（1）细胞膜有选择的通透性：每个神经细胞用细胞膜和外部隔开，使细胞内、外有不同的电位。把没有输入信号的膜电位称为静止膜电位，约为-70mV。当有输入信号时（其他神经细胞传入的兴奋信号）使膜电位比静止膜电位高15mV左右时，该神经细胞就被激发，在1ms内就达到比静止膜电位高100mV左右。

（2）突触连接的可塑性：神经细胞之间通过突触相连接，这种连接强度根据输入和输出信号的强弱而产生可塑性变化。细胞膜有选择的通透性使神经细胞具有阈值特性，如图2.2所示。神经细胞的阈值特性可表示为

其中，θ是一个阈值，随着神经元的兴奋而变化，神经元兴奋时发出的电脉冲具有突变性和饱和性。突触是指一个神经元轴突末梢和另一个神经元树突或细胞体之间微小的间隙，直径为0.5～2μm，用于两个神经元之间传递信息。突触结合强度即连接权重w根据输入和输出信号的强弱，即两个神经元的活性（兴奋程度）情况而产生可塑性变化，可以认为由于这一点使神经元具有长期记忆和学习功能。

2.2　人工神经元的基本特性

神经元是一个多输入单输出的信息处理单元，它的形式化结构模型如图2.3所示，其中x₁，x₂，…，x_n表示来自其他神经元轴突的输出信号，w₁，w₂，…，w_n分别为其他神经元与神经元i的突触连接强度，θ_i为神经元i的兴奋阈值。每个神经元信息处理过程可描述如下。

图2.3　神经元的形式化结构模型

其中，S_i为神经元i的状态；u_i为神经元i膜电位；y_i为神经元i的输出；g（·）为活性度函数；f（·）为输出函数。输出函数常用5种类型，如图2.4所示。

图2.4　神经元常用的输出函数类型

上述输出函数y=f（u）都具有突变性及饱和性，用于模拟神经细胞兴奋产生神经冲动和疲劳时的饱和特性。

2.3　人工神经网络及其特点

大脑神经网络是由大量的神经细胞依靠大量的突触连接成神经网络的，为了模拟神经网络，采用层状、网状形式将人工神经元连接成网络。人工神经网络具有以下主要特点。

（1）对信息存储是分布式的，因而具有很强的容错性。

（2）对信息的处理和推理具有并行的特点。

（3）具有很强的自组织、自学习的能力。

（4）具有从输入到输出非常强的非线性映射能力。

下面通过一个如图2.5所示的简单神经网络结构来说明人工神经网络的主要特点。

图2.5　一个简单的神经网络结构

设x₁，x₂，x₃，x₄为神经网络输入，经神经元N₁，N₂，N₃，N₄的输出分别为，，，，然后经过突触权w_ij连接到y₁，y₂，y₃，y₄的输入端，进行累加。

为简单起见，设θ_i=0，并将式（2.2）～（2.4）转换为

又设为二值变量，且，j=1，2，3，4。

x_j是感知器输入，用向量x′=（1，-1，-1，1）^T表示眼看到花、鼻嗅到花香的感知输入，从x¹到y¹可通过一个连接矩阵W₁来得到，即

经计算

y¹=［-1，-1，+1，+1］^T

这表示网络决策x¹为一朵花。

不难看出，x¹→y¹不是串行计算得到的，因为W₁可以用一个VLSI中电阻矩阵实现，而y_i=f（v_i）也可以用一个简单运算放大器来模拟，不管x¹和y¹维数如何增加，整个计算只用了一个运放的转换时间，网络的动作是并行的。

如果x²=［-1，+1，-1，+1］^T表示眼看到苹果、鼻嗅到苹果香味的感知器输入，通过矩阵

得到y²=［-1，+1，+1，-1］^T表示网络决策x²为苹果。

从式（2.8）和式（2.9）的权来看，并不知道其输出结果是什么。从局部权的分布也很难看出W中存储什么，这是因为信息是分布存储在权中，把式（2.8）、式（2.9）相加，得到一组新的权

由x¹输入，通过权阵W₁运算可得到y¹，由x²输入，通过权阵W₂运算可得到y²，这说明W存储了两种信息，当然也可以存储多种信息。

如果感知器中某个元件损坏了一个，设第3个损坏，则x¹=［1，-1，0，1］^T，经W算得y¹=［-1，-1，+1，+1］^T，而x²=［-1，+1，0，1］^T，经W算得y²=［-1，1，1，-1］^T的结果和前面的一样，这说明人工神经网络具有一定的容错能力。

2.4　前向神经网络的结构、训练及学习

人脑中大量的神经细胞通过突触形式相互联系，构成结构与功能十分复杂的神经网络系统。人工神经网络也必须将一定数量的神经元适当地连接成网络，从而建立起多种神经网络模型。下面只介绍最常见的前向神经网络结构。

前向网络包含输入层、隐层（一层或多层）和输出层，如图2.6所示为一个三层网络。这种网络的特点是只有前后相邻两层之间神经元相互连接，各神经元之间没有反馈。每个神经元可以从前一层接收多个输入，并只有一个输出给下一层的各神经元。

人脑中的神经元通过许多树突的精细结构，收集来自其他神经元的信息，神经元又通过轴突发出电活性脉冲。轴突分裂为上千条分支，在每条分支末端，通过突触的结构把来自轴突的电活性变为电作用，从而使与之相连的各种神经元的活性受到抑制或产生兴奋。

当一个神经元收到兴奋输入，而兴奋输入又比神经元的抑制输入足够大时，神经元把电活性脉冲向下传送到它的轴突，改变轴突的有效性，从而使一个神经元对另一个神经元的影响改变，便产生了学习行为。因此，可以认为神经网络学习的本质特征在于神经细胞特殊的突触结构所具有的可塑性连接，而如何调整连接权重就构成了不同的学习算法。

图2.6　三层前向神经网络的结构

神经网络按学习方式分为有教师学习和无教师学习两大类，如图2.7给出了这两种学习方式的直观示意图。

图2.7　神经网络的训练与学习过程示意图

（1）神经网络的训练如图2.7所示的上半部分，在训练学习中教师提供的样本数据集是指成对的输入和输出数据集，实际上代表了实际问题的输入输出关系。训练的过程就是根据输入网络的和网络输出的正误程度来反复调整权重的大小，直到网络的实际输出全部等于期望的输出为止，训练过程结束。

（2）神经网络的学习如图2.7所示的下半部分，神经网络学习旨在根据实际输出数据和期望输出之间的误差，通过某种学习算法自动地、反复地去调整权值直到消除误差。要使人工神经网络具有学习能力，就是使神经元之间的结合模式变化，这同把连接权重用什么方法变化是等价的。因此，通过学习算法可实现对突触结合强度的调整，使其具有记忆、识别、优化等信息处理功能。

（3）神经网络的泛化能力是指神经网络在经过样本数据集的训练后，当输入出现了样本数据集以外的新数据时，神经网络仍能通过学习获得新的输出，并能严格保持神经网络训练后所获得的输入输出映射关系的能力。网络的结构、训练样本的数量及质量都会影响泛化能力。

（4）神经网络的生长与修剪是指通过改变神经网络的结构和参数，可以改变网络的规模大小，使之更适合于某个问题的求解。对于前向网络的生长算法，从单个隐层的小网络开始，通过增加一个隐层重新训练，一直持续到在增加一个单元网络的性能不再改变为止。相反，修剪是先从相对大的网络开始，再逐渐剪去不必要的单元，直到获得满意的网络性能为止。