第4章 内分泌算法
神经系统、免疫系统和内分泌系统是人体的三大信息调节系统，它们的系统内部都蕴含着丰富的信息处理机理和奥秘。神经网络算法模拟脑神经系统信息分布存储、并行处理和自组织、自学习的机理；免疫算法模拟免疫系统的信息识别、记忆、学习、反馈、适应、进化、优化等功能。由于内分泌系统并不是孤立的，因此模拟内分泌系统的高层调节机制在很大程度上还要依赖正在崛起的神经免疫内分泌学发展。本章简要介绍基于内分泌调节机制的行为自组织算法。
4.1 内分泌算法的提出
内分泌系统通过分泌多种激素来调节机体的生理功能，它不仅有激素对效应器的正向作用，还有通过循环系统对内分泌腺、下丘脑和中枢神经系统的负反馈作用。因此，内分泌系统是很典型的闭环调节系统。内分泌系统与神经系统的密切配合，才使机体能更好地适应环境的变化。
基于内分泌调节机制的行为自组织算法是由黄国锐等于2004年提出的[19]，[20]，在本书中简称为内分泌算法。行为自组织算法由3个相互作用的部分组成：神经网络的记忆与决策；遗传的继承与变异；内分泌的高层调节。黄国锐等通过倒立摆控制仿真及机器人足球队守门员训练的仿真结果表明，基于内分泌调节机制的行为自组织算法具有很强的自适应能力。
4.2 内分泌与神经、免疫系统之间的关系
人体内部系统可概括为两大类：一类是主要担负机体的营养、代谢及生殖等基本生理功能的系统，包括血液循环、呼吸、消化及泌尿生殖系统；另一类是神经、免疫及内分泌三大系统，起着调节上述各系统活动、机体防御及控制机体的生长和发育等重要作用。
神经、免疫及内分泌三大系统共同的基本功能是传递和感受信息。神经系统的信息传递主要由神经纤维上的动作电位及化学性和电突触来实现，而内分泌系统及免疫系统的信息传递更多是由体液运输完成的，后者还依赖于免疫细胞的循环而执行其细胞和体液免疫功能。此三大系统内部均存在正负反馈调节方式，使各系统的功能活动更协调、准确而精细。
从内外环境条件变动构成的刺激性质分析，三大系统的反应本质均可视为阻尼性振荡过程，即减少或消除刺激所造成的影响。从信息存储和记忆的角度考察，神经系统借助感官可存储和识记外界信息，免疫系统则在抗原识别等方面表现出记忆功能，但神经和免疫系统记忆的分子机制有何异同，内分泌系统是否具有某种形式的记忆功能，尚待研究。
从系统之间的相互影响能力看，神经系统作用广泛、迅速而灵敏，控制着包括免疫和内分泌在内的机体各系统功能的活动。而免疫系统和内分泌系统作用相对缓慢，影响深远，在一定条件下，各自也可起到不同程度的主导作用。
用集合的观点表述神经（N）、免疫（I）及内分泌（E）三大系统之间的交互关系，如图4.1所示。图4.1中三集合两两相交处分别代表神经免疫（NI）、免疫内分泌（IE）、神经内分泌（NE）之间的相互作用。而三集合之交应视为神经免疫内分泌研究范畴。如图4.2所示，三者之间的相互作用方式可概括为：既有直接和间接之分，也有同时和先后之别；系统间作用的性质可为增强、减弱、修饰、允许或协同，借变频、变时和变力等方式而体现。
图4.1 神经（N）、免疫（I）及内分泌（E）系统之间的关系
图4.2 神经（N）、免疫（I）及内分泌（E）系统之间的交互影响方式
4.3 生物内分泌系统
图4.3 内分泌系统和神经系统的共同调节作用
生物内分泌系统由内分泌细胞、内分泌细胞所释放的激素（荷尔蒙）和内分泌腺体组成。内分泌系统是通过分泌多种激素来调节机体的生理功能的，内分泌细胞将其产生的激素，随血液和细胞间液传送到机体的各部位，对所作用的靶细胞的生理活动起到兴奋性或抑制性作用。适宜的刺激可刺激生物体内分泌细胞产生适当种类和数量的激素，这些激素和神经系统的共同作用，维持着机体内环境的相对稳定，进而影响生物体的行为。
图4.3说明了内分泌系统和神经系统对生物机体的共同调节作用，图中各种内分泌腺体形成一个闭合回路，它们之间通过复杂的相互作用维持着机体内环境的相对稳定。在闭合回路的基础上，中枢神经系统可接受外环境中的声、光、温度、味等信息，通过下丘脑把内分泌系统与外环境联系起来，形成开口回路。
下丘脑中的部分神经细胞可分泌神经激素，神经激素作用于垂体，影响垂体的分泌，进而影响靶腺（如甲状腺、肾上腺等）的分泌。靶腺激素反过来影响神经系统的发育及其活动，进而影响生物体的行为。正是因为内分泌系统与神经系统的密切配合，才使机体能更好地适应环境的变化，使生物体的内环境保持相对稳定。
4.4 内分泌激素调节规律的描述
2001年，L. S. Farhy提出了激素腺体分泌激素的通用规律：激素的变化规律具有单调性和非负性，激素分泌调节的上升和下降遵循Hill函数规律，分别如式（4.1）和式（4.2）所示。
Fup（G）=Gn/（Tn+Gn）（4.1）
Fdown（G）=Tn/（Tn+Gn）（4.2）
其中，F表示Hill函数；up和down分别表示刺激和拟制关系；G为函数自变量；T为阈值，且T＞0；n为Hill系数，且n≥1；n和T共同决定曲线上升和下降的斜率。Hill函数具有如下性质。
（1）Fup=1-Fdown。
（2）F（G）G=T=1/2。
（3）0≤F（G）≤1，其中F（G）表示Fup（G）或Fdown（G）。
单个内分泌细胞分泌荷尔蒙的过程包括荷尔蒙的分泌和削减同时作用，荷尔蒙浓度计算公式为
其中，C为荷尔蒙浓度；t为时间；S为荷尔蒙分泌的速率；α为荷尔蒙削减率。
如果激素x受激素y调控，则激素x的分泌速率Sx与激素y的浓度Cy的关系为
其中
为激素x的基础分泌速率；α为常量系数。
4.5 人工内分泌系统内分泌激素的调节机制
生物内分泌系统由内分泌腺体、内分泌细胞和内分泌细胞所释放的激素所组成。适宜的刺激可激发生物体部分内分泌细胞产生适当种类和数量的激素，这些激素和神经系统的共同作用，维持着机体内环境的相对稳定，进而影响生物体的行为。内分泌系统是用化学的方法来实现对机体的有效调节的，它的作用较慢而持久。中枢神经系统通过对于内分泌腺的作用，间接地调节机体内多种效应器官，这种活动的形式，称为神经-体液调节。内分泌系统不仅有激素对效应器的正向作用，还有通过循环系统对内分泌腺、下丘脑和中枢神经系统的负反馈作用。因此，内分泌系统是很典型的闭环调节系统。在闭环调节回路的基础上，中枢神经系统可接受外环境中的各种信息（声、光、温度、味等），通过下丘脑把内分泌系统与外环境联系起来，形成开口回路。如图4.4所示为神经-内分泌的多级调节作用。正是因为内分泌系统与神经系统的密切配合，才使机体能更好地适应环境的变化。
内分泌系统与免疫系统之间有着密切的双向调节联系。内分泌激素可以通过免疫细胞上的激素受体，使免疫功能减弱或增强；免疫系统通过细胞因子对内分泌系统发生作用，同一细胞因子对于不同的激素分泌活动的调节具有特异性。大量的研究证明，激素可以导致免疫反应减弱或增强，这取决于激素的种类、剂量和时间。
图4.4 神经-内分泌调节系统
人工内分泌系统的研究比人工神经网络、遗传算法和人工免疫系统的研究起步较晚，虽有国外学者提出一些内分泌激素调节的仿真模型，但这些模型多半都应用于医学研究领域，总体来说进展缓慢。随着神经科学、免疫学和内分泌学的长足进步，神经免疫内分泌学也将逐步丰富，将为人们研究基于神经免疫内分泌学的智能优化算法创造条件。
4.6 基于内分泌调节机制的行为自组织算法的实现
自主体行为自组织算法的工作结构如图4.5所示。自主体从遗传环境中通过染色体的输入得到神经网络的初始记忆。作为系统的一个主要组成部分，神经网络从行为环境中接收信息，并控制效应器的动作和内分泌系统的状态变化。内分泌系统在接收到相应的神经信号后，分泌相应的激素，这些激素通过激素回路返回给神经网络，对神经网络起着重要的调节作用，进而影响自主体的行为决策。神经网络中保存有自主体对行为环境的适应结果，这些适应结果通过染色体的输出而传给下一代个体。
行为自组织算法实际上由3个相互作用的部分组成：神经网络的记忆与决策；遗传的继承与变异；内分泌的高层调节。对前两部分的论述从略，下面将重点论述第三部分。
假设系统的状态是离散的，神经网络用<状态、动作、情感值>三维序列的集合来表述。集合的起始值是从遗传环境中通过染色体的输入而得到的。为了算法描述方便，引入3个记号：E、Eai和Ei。其中，E表示三维序列<状态、动作、情感值>的集合，可以用一个矩阵来表示，矩阵的行号表示动作的序号，矩阵的列号表示状态的序号，矩阵的元素值表示相应状态动作对的情感值；Eai表示在状态i下执行动作a的情感值；Ei表示状态i的情感因子。内分泌的高层调节是通过对系统状态的评估及根据评估结果的反馈学习来实现的。
基于内分泌调节机制的行为自组织算法的实现步骤如下。
（1）在状态j下选择一个动作，设所选动作为a，在状态j下执行动作a后返回状态i。动作选择规则描述公式为
a=Afunc｛E∗j｝=max｛E∗j｝（4.5）
其中，∗号表示状态j下所有可能的动作。
（2）对状态i进行情感评价，得到其情感因子E，评价规则描述公式为
Ei=Efunc｛E∗i｝=max｛E∗i｝（4.6）
图4.5 行为自组织算法的工作结构
（3）情感学习。情感学习规则描述公式为
Eaj（t+1）=Ufunc（Ei，Eaj（t））=（1-β）Eaj+βEi（4.7）
其中，β为学习率。
（4）令j=i，返回步骤（1）。
上面步骤中的3个函数关系可以针对实际问题自行设计，只要能保证学习过程的收敛就可以。另外，在实际应用中需要定义一个情感学习的结束条件。情感学习结束后，神经网络中保存有自主体对行为环境的自适应结果，这些自适应结果通过染色体的输出而传给下一代个体。因而，下一代与上一代相比，下一代有更加适应行为环境的趋势。