第二部分 时变问题神经网络求解项目申请、评议与进展

第二章 时变问题求解的神经动力学新方法、模型及理论分析

为了突出本书的项目申报重点，本部分（第二章和第三章）以作者团队2010年申报成功的国家自然科学基金（NSFC）面上项目为例，详细介绍项目的课题选题分析、课题总结、申报和与该项目相关的同行评审意见及其对应思考和进展等。在本章的开始，我们先对该项目课题的选题进行回顾与总结。

到目前为止，国内外较少见有全面、系统和准确求解时变问题的模型和方法。神经网络模型和方法由于具有并行处理能力和硬件实现潜力而被用于求解时变问题，但其中常见的基于梯度法的神经网络模型和方法在求解时变问题时属于被动追踪的模型和方法，存在较大的实时求解误差。这些问题的存在驱动我们对时变问题求解进行较为深入的思考，结合作者在神经网络方面已有的研究成果和在时变问题求解方面已有的研究经验，作者及团队对神经动力学新方法和模型进行了大胆尝试，铺垫了一定的研究基础和理论准备。本章因此总结和主要介绍求解时变问题的一种新型神经动力学方法以及它的建模和相关理论基础的研究。这种神经网络模型和方法的最大特点是在于它利用了问题的时变系数的导数信息，因而具有预测能力，能大幅降低实时求解误差。根据这种新型神经网络设计方法，作者分析研究该类能实时在线求解时变问题的递归神经网络求解器，并将之应用于不同类型的时变问题求解且获得了成功。作者团队以这种新型的神经网络模型与方法的研究为内容，申请了2010年国家自然科学基金（NSFC）面上项目，并最终获得立项和资助。由于该项目还未进行到中期报告和结题阶段，本章只是介绍该2010年国家自然科学基金面上项目申请书，然后总结该基金申请及其带给我们的一些新启发和思考。

第一节 申请书原稿

摘要：在本项目中，我们提出一种能实时在线求解时变问题的新型神经网络求解模型。不同于传统梯度神经网络模型与方法（其仅能准确求解时不变/静态问题），新模型与方法具有如下创新之处。首先，相对于梯度法一般采用的正定或下有界的能量函数概念，新方法则可采用不定无界的误差函数作为神经动力学系统设计的开始。其次，新方法产生的神经网络求解器多为自然界中更为普遍存在的隐动力学模型描述（而梯度法神经网络多为显动力学描述）。另外，新方法产生的神经网络求解器可从方法和系统层面上充分利用各时变参数的导数信息，因此对问题求解具有一定预测指导能力，可实时逼近问题正确解（而传统梯度法神经网络在时变情况下仅是一种追踪求解模式）。利用新型神经网络方法，我们已很好地解决了矩阵/向量/代数/优化等多种时变问题，并将其应用于机器手臂运动规划的解析之中。另外，我们还可由此开发实时问题求解的计算机辅助电路/协处理器，从而加快计算速度。

关键词：时变、梯度法、神经网络、导数信息、新方法。

一、立项依据与研究内容

（一）项目的立项依据

1. 研究意义

计算神经科学（又称为神经计算科学）是使用数学理论和计算机模拟的方法在生物神经细胞层次上模拟脑结构和脑功能的科学，是关于人工神经系统（Artificial Neural System）或人工神经网络（Artificial Neural Network）的结构、原理和功能的科学。人工神经网络（以下如无特别指出，则简称神经网络），是模拟生物神经系统的组织结构、处理方式和系统功能的简化系统[1]；是一门始于20世纪40年代的新兴交叉学科，是人类智能研究的重要组成部分；已成为脑科学、神经科学、认知科学、心理学、计算机科学、数学、物理学等共同关注的热点问题之一[2]。

20世纪80年代初期，美国物理学家John J.Hopfield博士提出了一种全连接神经网络（即Hopfield类型神经网络）的动力学模型，并用电路硬件实现了这个动力学系统，且通过广义能量及Lasalle不变性原理等给出了该类神经网络的状态（即动力学模型中的流量）最终收敛于平衡点集这一重要的动力学分析结果[3]。这为联想记忆及优化的性能与功效的提高提供了强有力的理论基础，对神经网络研究的复兴起到了重大影响作用[1]。目前，神经网络不仅成为一种求解实际问题的思想方法，而且是实践中一种方便有效的数学建模工具。

实时（数学）问题的求解在科学、工程和经济等领域中应用较为广泛，例如与矩阵/向量/代数运算相关的问题[4～12]、最优化计算[9～11]、自动控制[12]、信号处理[13]、模式识别[14]、机器人运动学[6,11,12,15,16]等。近年来，随着对神经网络的不断深入研究，人们已经研究和开发了许多基于梯度法的递归神经网络动力学模型[14～19]，且一些模型已经在模拟电路上获得实现，用以实时在线求解数学问题[18～20]。由于神经网络固有的并行性和硬件实现的便捷性等优点，神经动力学方法如今已成为一种有力的实时计算途径与工具之一。

然而，传统的梯度神经动力学方法对于实时（数学）问题的求解基本上都是考虑定常（即静态）情况的[14～19]，或将时变问题借助于短时不变性假设而近似为定常/静态问题去处理。但是，在实践过程中我们发现该类梯度神经网络对于时变问题（尤其是快时变问题）的求解，所得结果往往不能令人满意，还有待提高。究其原因，我们发现，基于梯度法的递归神经网络在求解过程中没有充分利用各时变参数的时间导数信息，因此，所求解的结果与理想结果总是存在着一定的滞后误差[5,6,9]。鉴于此，梯度神经网络求解时变问题可以看成一种追踪的求解模式，导致所得结果总会滞后于理想结果。而在实际的科学和工程应用中，时变问题经常出现。如高速飞行的飞机空气动力学系统的系数、电路系统中的变参数、机械工程中的运动参数等[21]。为了获得更高的准确率或更好的计算质量，就需要考虑各时变因素给时变系统所带来的影响。如果仍采用基于传统梯度法的动力学模型来求解此类时变问题，我们的前期工作表明，即使对该动力学系统/网络模型的设计参数提出更高的要求，也不一定能准确有效地求解该类时变问题[5,6,9]。所以，为了能准确有效地求解时变问题，提出一种能实时求解时变问题的神经动力学模型将具有较重要的理论及工程实践意义和较广泛的应用前景。我们正是在这样一种实际需求（机器臂运动规划和时变极点配置）的推动下，探索、设计和开发出了一类新型的实时在线求解时变问题的神经动力学模型（即张等神经网络方法）[5,6,9,22～27]。该新型神经动力学模型能够准确有效地应用于时变系统中求解各类时变问题，如时变Sylvester矩阵方程和时变Lyapunov矩阵方程的求解、时变矩阵的求逆[5,6,23]、时变优化问题求解[9]、时变非线性矩阵方程（如时变矩阵开平方根）的求解[24]、时变非线性方程问题求解[25]、机器臂冗余度解析[26]及时变线性方程组的求解[27]等。另外，在新型神经网络计算机仿真模拟的基础上[27]，其研究成果可以应用于面向实时矩阵求逆、实时线性方程组和实时优化问题求解的计算机辅助电路/协处理器的开发，从而加快数字计算机的科学计算速度。

2. 国内外研究现状

许多国内外专家学者一直以来都在努力研究如何高效准确地求解实时（数学）问题，并提出了许多计算方法和方案。一般而言，可将这些计算方法/方案大致归为两大类型：其一是运行在数字计算机（如个人计算机）中的数值算法[4,7]。但是，数值算法由于其串行计算的特性使得计算复杂度相对较高且耗时，如在矩阵运算中，最小的算术运算复杂度一般也是矩阵维数的三次方[28]。因此，如果将这些串行数值算法运用到大规模的实时在线应用问题的求解中时，计算效率会较低。第二种计算方法/方案是运行在某些特定结构中的并行算法。近年来，逐渐引起人们研究兴趣的神经动力学方法就是其中一种重要的并行方法之一；而神经网络由于具有并行计算的优点和硬件实现方便的特点，已经成为一种有利的实时计算工具，如在文献[14～19]中提出了多种基于梯度法的递归神经网络（动力学）模型以在线求解实时问题。

然而，无论是经典的数值算法，还是传统的梯度法神经动力学模型，它们一般而言多是针对定常（静态）问题而设计的，而非针对时变情况的。这些算法/方法仅能准确有效地求解定常/静态问题。一般而言，这些算法/方法基本上是基于负梯度或其变形方向而优化设计的；首先构造一个正的（至少是下有界的）基于范数的标量取值的能量函数，其最低点对应问题的解。然后，令此能量函数沿着经典的梯度下降的方向递减，直至达到能量函数的最低点，即所求问题的解[14～19]。

对于时变问题的实时求解，据我们所知，目前国内外几乎没有相关的、完备的理论及实践研究方法和工作（多是将梯度法直接应用于时变问题）。在本项目中，根据我们提出的新型神经网络方法[5,6,9,22～27]，设计、开发、仿真模拟和分析研究一类能实时在线求解时变问题的递归神经网络求解器。该神经网络求解器的设计方法及模型与以往传统的梯度神经动力学方法具有较大的/一定的不同和新颖性，主要表现在[5,6,9,22～27]：

（1）新方法的误差函数是基于矩阵/向量取值的、不定无界的（即可正可负可上下无界）的误差函数，而梯度法是基于标量范数（或平方）取值的、正的（或至少是下有界的）能量函数（一般而言，该能量函数大于零）。

（2）新方法的神经网络模型一般是用隐性动力学方程来表述的，这与自然界和实践中的模型更相一致（如分别符合Kirchhoff和Newton定律的模拟电路和机械系统均可以是隐性动力学描述[5,6,9]），而基于梯度法的神经动力学方程是显性的（如Hopfield类型神经网络[18～20]）。

（3）在时变问题的求解过程中，新方法从方法和系统层面上充分利用了各时变参数的导数信息，从而对时变问题的求解具有一定的预测指导能力，而梯度法却没有利用这一重要的导数信息，使得它在时变问题的求解过程中只是一种被动追踪的求解模式。这也是梯度法无法准确有效地求解时变问题的主要原因之一。

（4）正如以下即将介绍的第二部分内容的研究和分析所示，采用新方法所得到的解可收敛至理论时变解，而采用梯度法时所得的解与理论时变解总是存在较为明显的滞后误差。

（5）新方法属于一种预测的方法，它的设计可以充分利用各时变参数的导数信息。因此采用新方法时所得的网络解能收敛至实时变化的理论解上，而传统梯度法属于跟踪的方法，被动地适应各时变参数的变化而滞后地调整。因此，理论上采用梯度法所得到的神经网络解总是不能跟上时变运动的理论解。

（6）从文献[22]中可知新方法的离散模型与牛顿（迭代）法之间存在着某种联系，求解静态问题的牛顿法可以看成本项目的新方法在静态问题求解时的一种线性激励离散形式（且仅当迭代步长固定为1时）。

（7）新方法的整个推导过程较为简单，如只需本科生程度的数学知识，而梯度法的推导（尤其是涉及矩阵/向量时）会是一个比较复杂的过程，它需要更复杂、更深层次的数学知识背景（如要用到硕士甚至博士生的数学知识）。

3. 主要参考文献

[1] 阮晓钢. 神经计算科学：在细胞的水平上模拟脑功能. 北京：国防工业出版社,2006.

[2] F. M. Ham, I. Kostanic. Principles of Neuraocomputing for Science & Engineering, McGraw-HilCompanies,Inc.2001.

[3] 阮炯, 顾凡及, 蔡志杰. 神经动力学型方法和应用. 北京：科学出版社,2002.

[4] 周金土, 楼玫. 三阶矩阵的平方根. 数学理论与应用,2008,28（2）:31-37.

[5] Y. Zhang, S. S. Ge,“Design and analysis of a general recurrent neural network model for time-varying matrix inversion”. IEEE Transactions on Neural Networks, 2005, 16（6）:1477-1490.

[6] Y. Zhang, H. Peng,“Zhang neural network for linear time-varying equation solving and its robotic application,”in:Proceedings of the 6th International Conference on Machine Learning and Cybernetics,2007,pp.3543-3548.

[7] A. Wu, G. Duan,“Explicit general solution to the matrix equation AV+BW=EVF+R”. IET Control and Theory Application,2008,2（1）:56-60.

[8] F.Ding,T.Chen,“Gradient based iterative algorithms for solving a class of matrix equations”. IEEE Transactions on Automatic Control,2005,50（8）:1216-1221.

[9] Y. Zhang, Z.Li, C. Yi, K. Chen.“Zhang neural network versus gradient neural network for online time-varying quadratic function minimization”.Lecture Notes in Artificial Intelligence, 2008,vol.5227,pp.807-814.

[10] N.Truhar.“An efficient algorithm for damper optimization for linear vibrating systems using Lyapunov equation”. Journal of Computational and Applied Mathematics, 2004, 172:169-182.

[11] Y. Zhang.“Dual neural network:design,analysis,and application to redundant robotics,”in book Progress in Neurocomputing Research,Gerald B.Kang（eds.）,Nova Science Publishers, Inc.:New York,2007,pp.41-81.

[12] 李优新, 毛宗源, 田联房. 基于图像矩与神经网络的机器人四自由度视觉伺服. 控制理论与应用,2009,10（26）:1162-1166.

[13] 王艳聪, 胡中豫, 张云飞. 基于谱相关特性和组合神经网络的数字调制信号识别. 计算机应用研究,2009,11（26）:4234-4236.

[14] G. Ou, Y. Murphey.“Multi-class pattern classification using neural networks”. Pattern Recognition,2007,40:4-18.

[15] Y. Zhang.“Inverse-free computation for infinity-norm torque minimization of robot manipulators,”Mechatronics,2006,16:177-184.

[16] J. Wang, Y. Zhang.“Recurrent neural networks for real-time computation of inverse kinematics of redundant manipulators”.in book Machine Intelligence:Quo Vadis?P.Sincak,J. Vascak,and K.Hirota（eds.）,World Scientific:Singapore,2004,pp.299-319.

[17] Q. Song, J. Cao.“Stability analysis of Cohen-Grossberg neural network with both time-varying and continuously distributed delays”. Journal of Computational and Applied Mathematics,2006,197:188-203.

[18] Y. Maeda, M. Wakamura.“Simultaneous perturbation learning rule for recurrent neural networks and its FPGA implementation”. IEEE Transactions on Neural Networks, 2005, 16（6）:1664-1672.

[19] D.W.Tank,J.J.Hopfield.“Simple‘neural’optimization networks:An A/D converter,signal decision circuit, and a linear programming circuit”. IEEE Transactions on Circuits System, 1986,CAS-33:533-541.

[20] 宋绍民, 王耀南, 姚胜兴，等. 基于细胞集合的隐层冗余BP神经网络及其性能研究. 仪器仪表学报,2009,1（30）:103-108.

[21] H. C. Lee, J. W. Choi.“Linear time-varying eigenstructure assignment with flight control application”.IEEE Transactions on Aerospace and Electronic Systems,2004,40（1）:145-157.

[22] Y.Zhang,W.Ma,C.Yi.“The link between Newton iteration for matrix inversion and Zhang neural network（ZNN）”. in: Proceedings of IEEE International Conference on Industrial Technology,2008,pp.1-6.

[23] Y.Zhang,X.Guo,W.Ma,K.Chen,B.Cai.“MATLAB Simulink modeling and simulation of Zhang neural network for online time-varying matrix inversion”. in: Proceedings of IEEE International Conference on Networking,Sensing and Control,2008,pp.1480-1485.

[24] Y.Zhang,Y.Yang.“Simulation and comparison of Zhang neural network and gradient neural network solving for time-varying matrix square roots”. in: Proceedings of Intelligent Information Technology Application,2008,pp.966-970.

[25] Y.Zhang,C.Yi,W.Ma.“Comparison on gradient-based neural dynamics and Zhang neural dynamics for online solution of nonlinear equations”. in: Proceedings of International symposium on Intelligence Computation and Applications,2008,pp.269-279.

[26] K.Chen,L.Zhang,Y.Zhang.“Cyclic motion generation of multi-link planar robot performing square end-effector trajectory analyzed via gradient-descent and Zhang et al’s neural dynamic methods”. in: Proceedings of the 2nd International Symposium on Systems and Control in Aeronautics and Astronautics,2008.

[27] Y. Zhang, X. Guo, W. Ma,“Modeling and simulation of Zhang neural network for online linear time-varying equations solving based on MATLAB Simulink”. in: Proceedings of the 7th International Conference on Machine Learning and Cybernetics,2008,pp.805-810.

[28] W.E.Leithead,Y.Zhang,“O（N^2）-operation approximation of covariance matrix inverse in Gaussian Process regression based on quasi-Newton BFGS methods”. Communications in Statistics-Simulation and Computation,2007,36（2）:367-380.

（二）项目的研究内容、研究目标以及拟解决的关键科学问题

在这部分内容中，我们对本项目中的研究内容（主要以时变矩阵求逆为例陈述）、研究目标，以及拟解决的关键科学问题进行更为详细和完备的阐述。

1．研究内容

在本项目中，充分利用时变参数导数信息的思想[ZYN2～ZYN4,ZYN26～ZYN29,ZYN47～ZYN56]，我们设计了一种隐性动力学方程描述的新型递归神经网络（即ZNN）来实时求解时变问题。这种新型递归神经网络巧妙地构造了一种矩阵/向量取值、不定无界的误差函数，而不再像传统梯度神经网络模型那样基于标量范数（或平方）取值的正的能量函数。当该误差函数（全局指数）收敛到零时，即误差矩阵/向量函数中的每个元素均（全局指数）收敛到零时，所得网络解就是（全局指数）收敛到时变的理论解。另外，在求解过程中，即使采用线性激励函数，在硬件实现过程中非线性现象也总是存在的。为了得到更好的网络收敛性和鲁棒性，本项目还研究了不同的激励函数组（或称阵列），如线性函数、S型函数、幂函数或者它们的变形函数组（如幂S型函数组）等，以增益所构造的新型神经网络模型[ZYN26～ZYN29]。以下我们将分别用新型神经网络（即ZNN模型）与传统梯度神经网络（即GNN模型）求解时变逆矩阵问题及两者之间的比较为例来阐述我们在本项目中的研究方法和部分研究内容，如时变Sylvester和Lyapunov矩阵方程求解（离散模型）、时变线性方程组求解（离散模型）、时变非线性矩阵方程（如时变矩阵开平方根）的求解、时变非线性方程问题求解、时变优化问题求解及机器臂冗余度解析等。

1）ZNN神经网络模型与GNN神经网络模型

我们将开发并利用张等神经网络（ZNN）模型与梯度神经网络（GNN）模型来求解时变逆矩阵问题，并分析研究相应的理论结果及ZNN的离散模型等内容。

（1）ZNN神经网络模型[ZYN2～ZYN4,ZYN26～ZYN29,ZYN47～ZYN56]。

给出光滑变化的可逆矩阵A（t）∈Rn×n，我们需要求解到一个X（t）∈Rn×n使得下列矩阵方程成立：

其中，I∈Rn×n表示一个单位矩阵。求解时变矩阵方程（2.1），实际上就等价于实时求解时变矩阵A（t）∈Rn×n的逆矩阵，从而达到求解A−1（t）∈Rn×n的目的。不失一般性，假定矩阵A（t）∈Rn×n 和它的时间导数 A.（t）∈Rn×n 已知或可以通过各种方式之一（如微分电路[ZYN26～ZYN29,ZYN55]）测量而得。为了比较和讨论的方便，我们简记矩阵方程（2.1）的理论时变解，即矩阵A（t）∈Rn×n的逆矩阵为X*（t）=A−1（t）∈Rn×n。为了理论分析证明的需要，我们给出如下关于时变矩阵A（t）∈Rn×n可逆的条件以确保逆矩阵A−1（t）∈Rn×n存在。

时变矩阵可逆条件[ZYN26]：总是存在一个正常实数α>0，使得

其中λi（·）表示时变矩阵A（t）∈Rn×n在t时刻的第 i 个特征值。可以证明，如果可逆条件（2.2）成立，那么矩阵方程（2.1）将会有唯一解，即时变逆矩阵A−1（t）∈Rn×n存在且唯一。值得指出的是，可逆条件（2.2）中的α只是为了分析而引入的，实际上并不需要知道它的具体值。

按照新型神经网络设计思想[ZYN2～ZYN4,ZYN26～ZYN29,ZYN47～ZYN56]，我们可以首先定义一个矩阵取值、不定无界的误差函数E(X（t）,t):=A（t）X（t）−I。为使该矩阵误差函数E(X（t）,t)中的每一个元素eij（t）,∀i,j=1,…,n均收敛到零，可令该误差函数的时间导数.(X（t）,t)满足如下神经动力学设计公式（ZNN design form

其中，Γ表示一个正定矩阵，用来控制网络的收敛率，F（·）:Rn×n→Rn×n表示神经网络的激励阵列。

展开神经动力学设计公式（2.3）便可以得到用于时变矩阵求逆的、通用的新型神经网络模型（也即ZNN模型），它用如下隐动力学系统方程来描述：

其中，X（t）∈Rn×n表示从某初始值X（0）=X0∈Rn×n出发，与矩阵方程（2.1）中的时变逆矩阵X*（t）=A−1（t）∈Rn×n相对应的神经网络状态矩阵；矩阵参数Γ表示为一组电感参数或电容参数的倒数，其取值设置在硬件所允许的范围或满足实验仿真需求[ZYN26～ZYN29]。为了使ZNN（2.4）和Γ的表述更简洁，一般可令Γ=γI，其中常数γ>0是神经网络的一个标量设计参数，用来调节网络求解的速度/收敛率。值得指出的是，不同于传统的Hopfield类型或梯度类型递归神经网络用一组显性微分方程所描述，我们提出的新型神经网络ZNN模型（一般而言）用一组隐性动力学方程描述，即=…，当然也可以改造后用显性动力学方程=…描述 [ZYN26～ZYN29,ZYN47～ZYN56]。

根据Kirchhoff定律，这种隐性动力学方程经常出现在模拟电路系统中，也更匹配我们欲将ZNN模型（2.4）付诸电路实现的目的。更重要的是，ZNN模型（2.4）充分利用了待解方程（2.1）中矩阵A（t）在求解过程中对时间的导数信息。我们从ZNN（2.4）可得到该新型神经网络模型求解A（t）逆矩阵的方框图，如图2.1所示。根据ZNN模型（2.4）和图2.1，我们可以选择不同的设计参数γ>0和激励函数阵列F（·）:Rn×n→Rn×n来获得不同的/较好的网络收敛特性。一般而言，任意单调递增的奇函数f（·）（即，激励阵列F（·）的第ij个元素处理单元）都可以用来作为该类神经网络的激励函数。图2.2 中给出了三种常见的激励函数[ZYN26～ZYN29]：① 线性激励函数 f（u）=u；②双极S形激励函数f（u）=(1−exp（−ξu）)/(1+exp（−ξu）)；③ 幂激励函数 f（u）=u p，其中ξ≥1，p≥3。

对于ZNN（2.4），我们有以下重要的理论分析结果[ZYN2,ZYN3,ZYN26,ZYN53,ZYN56]。

定理 给定一个光滑变化的时变矩阵A（t）∈Rn×n满足可逆条件（2.2），如果采用一个单调递增的奇函数激励阵列F（·）来构造新型神经网络模型ZNN（2.4），那么ZNN（2.4）的状态矩阵X（t）∈Rn×n，从任意一个初始值X（0）=X0∈Rn×n出发，都能（全局）收敛至时变逆矩阵X*（t）=A−1（t）∈Rn×n。另外，ZNN（2.4）还具有以下收敛特性。

①如果采用线性激励函数阵列，ZNN（2.4）将具有收敛率为γ的全局指数收敛性。

②若采用双极S形激励函数阵列，ZNN（2.4）在误差界（−ln2/ξ,+∞）具有收敛率为ξγ/2的指数收敛。

③如果采用幂激励函数阵列，相比于①和②，ZNN（2.4）在误差界|eij（t）|>1上具有更好的收敛特性。

注解1 从上述定理和相关文献可以知道，我们可以依据切换点|eij（t）|=1开发设计出一种性能更好的神经网络模型，可以采用如下幂S形激励函数（阵列）：

其中ξ和p必须是合适的参数。采用幂S形激励函数优于线性激励函数的原因在于其对误差信号的放大作用，且多了一个可选择的设计参数ξ（它是改善指数收敛率的一个因子）；即在硬件实现时，如果设计参数γ已经达到了物理上界，我们还可以通过增大设计参数ξ来改善（或提高）网络收敛率。

注解2 在工程实践应用中非线性现象总是存在的。这是我们研究非线性激励函数（如双极S形激励函数、幂激励函数、幂S形函数等）的原因之一。而且，即使采用线性激励函数，非线性现象还是可能存在的，比如在硬件实现时可能出现的元器件饱和特性或其他非线性现象，具体到数字电路实现时也存在截断误差。研究结果表明，采用非线性激励函数（如S形函数和幂S形函数等）相比于线性激励函数，将能更好地减免非线性负面影响及其产生的不精确实现问题。

（2）GNN神经网络模型[ZYN1～ZYN3,ZYN6,ZYN26～ZYN29]。

为了更好地与我们提出的新型ZNN神经网络模型进行比较，我们将给出梯度神经网络（GNN）实时求解时变矩阵A（t）的逆矩阵的网络模型。与其他梯度神经网络的设计方法相类似，可以首先定义一个标量范数取值的正的能量函数ε=||AX（t）−I||2 /2；然后，令该能量函数ε沿着梯度∂ε/∂X =AT（AX（t）−I）的负方向下降并将其运用于时变系统的情形下，即可得到传统梯度法神经网络求解时变逆矩阵的线性GNN模型：

和延展的非线性GNN模型：

其中，参数γ和激励阵列F（·）:Rn×n→Rn×n的定义与公式（2.4）中所定义的一样。

（3）ZNN与GNN的设计方法与模型比较。

从上述ZNN和GNN设计方法及模型的分析研究中，我们可以得出以下两者明显的区别之处[ZYN47～ZYN56]。

①ZNN（2.4）的设计是使矩阵取值、不定无界的误差函数E(X（t）,t)=A（t）X（t）−I中的每一个元素eij（t）,∀i,j=1,…,n都趋于零，其中每一个元素误差eij（t）理论上可正可负，也可无界。而GNN（2.6）使标量范数取值的正的能量函数ε=||AX（t）−I||2 /2沿负梯度方向趋于零；一般而言，该GNN能量函数ε大于零或至少有下界。

②ZNN（2.4）的神经网络模型是用隐（当然也可用显性的）动力学方程来表述的，即A（t）（t）=…。这与自然界和实践更一致（如分别符合Kirchhoff和Newton定律的模拟电路和机械系统均可以用隐动力学系统方程描述）。而GNN（2.6）的动力学方程是显性表述的，即X.（t）=…，如Hopfield类型人工神经网络或梯度类型人工神经网络。

③在时变问题的求解过程中，ZNN（2.4）从方法和系统层面上可以充分利用各时变参数的导数信息，从而对时变问题的求解具有一定的预测指导能力。而GNN（2.6）却没有利用这一重要的导数信息，使得它在时变问题的求解过程中，只是一种被动追踪的求解模式；这也是GNN（2.6）无法准确有效地求解时变问题的主要原因之一。

④正如前面的理论分析和如下的仿真验证内容所示，采用ZNN（2.4）所得的神经网络解X（t）能全局指数收敛到时变逆矩阵A−1（t）上。而采用GNN（2.6）所得的神经网络解X（t）只能近似趋近于时变逆矩阵A−1（t），且总是存在较为明显的滞后误差。

⑤ZNN（2.4）属于一种预测的方法，它的设计方法充分利用了时变参数的导数信息；因此ZNN（2.4）所得的神经网络解X（t）能收敛到实时“运动”的逆矩阵A−1（t）上去。而GNN（2.6）属于传统上的跟踪方法，它滞后地适应时变矩阵A（t）的变化而被动地调整；因此，GNN（2.6）所得的神经网络解X（t）总是不能跟上实时“运动”逆矩阵A−1（t）。

⑥从文献[ZYN1]和[ZYN50]中可知：新型神经网络方法的离散模型与牛顿迭代法之间存在着一定程度上的联系，求解静态方程/问题的牛顿法可以看成我们提出的新方法在采用线性激励函数且迭代步长固定为1时针对静态方程/问题求解的一种特定离散形式。

⑦新方法，如ZNN（2.4）的整个推导过程比较简单，比如只需要本科阶段高等数学知识。而梯度神经网络如GNN（2.6）的推导，相对而言，是一个比较复杂的过程，它需要更复杂、更深层次的数学知识背景，比如可能需要用到硕士阶段（甚至博士阶段）的知识，如检查GNN（2.5）的矩阵推导。

（4）仿真验证。

根据上述给出的ZNN和GNN模型及其理论分析，我们将分别用ZNN（2.4）和GNN（2.6）求解一个给定时变矩阵 A（t）的逆矩阵来验证上述理论分析结果。假设给定A（t）=[sin t,cos t;−cos t,sin t]，为了方便比较这两种神经网络模型所求解的状态矩阵X（t）∈R2×2与时变逆矩阵X*（t）=A−1（t）∈R2×2是否一致，可以通过简单的数学运算（或可借助MATLAB命令）给出该光滑变化的时变可逆矩阵 A（t）∈R2×2 的时变逆矩阵为X*（t）=A−1（t）=AT =[sin t,−cos t;cos t,sin t]。仿真结果如图2.3所示，其中两个子图分别对应采用ZNN（2.4）和GNN（2.6）从随机产生的初始值X（0）∈[−2,2]2×2出发所得的神经网络解的曲线图，两者都是采用幂S形激励函数（p=3,ξ=4）和设计参数γ=1，其中，红色的点线表示时变逆矩阵/理论解X*（t）=A−1（t），蓝色的实线表示分别采用ZNN和GNN模型所得的神经网络解X（t）。当采用ZNN（2.4）求解A（t）逆矩阵时，其神经网络解X（t）能很好地全局收敛到时变逆矩阵A−1（t）上，如图2.3（a）所示。而用GNN（2.6）求解该同一个A（t）的逆矩阵时，所得的神经网络解X（t）与时变逆矩阵/理论解X*（t）=A−1（t）总是不一致（即两者稳态曲线未能重合），且明显滞后于理论上的时变逆矩阵，如图2.3（b）所示；简言之，GNN神经网络解与时变逆矩阵之间存在较大的误差。另外，我们也可以从求解误差||X（t）−A−1（t）||的角度来分析两种神经网络模型求解A（t）逆矩阵的收敛情况（其中||·||表示矩阵/向量范数）。从图2.4（a）中可以看出，采用ZNN（2.4）求解A（t）逆矩阵时的求解误差||X（t）−A−1（t）||大概在5s左右就会全局指数收敛到0；而对应地从图2.4（b）中可知，当采用GNN（2.6）求解同一时变矩阵A（t）的逆矩阵时，其求解误差||X（t）−A−1（t）||一直都存在且较大，这可能正是由于GNN（2.6）没有充分利用时变矩阵A（t）的导数这一重要信息的缘故。

2）ZNN模型的建模与仿真[ZYN3,ZYN52,ZYN53,ZYN56]

对于时变矩阵求逆的连续ZNN模型（2.4），我们也可以借助MATLAB Simulink仿真平台进行建模与仿真，从而为硬件实现奠定相关基础[ZYN84]。从ZNN（2.4）我们可得其第ij个神经元动力学方程为：

式中，xij表示ZNN（2.4）的第ij个神经元或对应于状态矩阵X（t）的第ij个元素，i,j=1,2,…,n；aij和分别表示矩阵A（t）的第ij个元素和它的时间导数；δij表示Kronecker Delta（定义为单位阵I的第ij个元素），且vij =δij−aij。因此，ZNN（2.4）的第j列神经元的电路原理图如图2.5所示。根据ZNN模型（2.4）和图2.1，我们利用MATLAB Simulink工具对其进行建模/仿真，如图2.6所示。

其建模/仿真输出结果如图2.7和图2.8所示[注：采用幂S形激励函数（p=3,ξ=4）和γ=1]。图2.7展示的是采用图2.6所示的Simulink建模仿真图对ZNN（2.4）模拟仿真时输出的网络解X（t）=[x11（t）,x12（t）;x21（t）,x22（t）]的曲线图，其中矩阵A（t）=[sin t,cos t;−cos t,sin t]，其理论上的时变逆矩阵A−1（t）=AT =[sin t,−cos t;cos t,sin t]。因此可见，Simulink建模/仿真输出的神经网络解X（t）与理论上的时变逆矩阵X*（t）=A−1（t）（稳态上）相一致。图2.8展示的是对应于图2.7的ZNN神经网络求解误差||X（t）−A−1（t）||的收敛情况。很明显，式（2.1）的求解误差||X（t）−A−1（t）||在5s左右就收敛到0[或者说，稳态时/5s之后X（t）=X*（t）=A−1（t）]。

3）离散ZNN模型研究[ZYN1,ZYN36,ZYN50,ZYN52]

在前面的小节中，我们重点展示和讨论了求解时变逆矩阵A−1（t）∈Rn×n的新型连续神经网络模型。考虑到定常/静态矩阵求逆A−1∈Rn×n可以看成时变矩阵求逆A−1（t）∈Rn×n的一个特例，根据前文类似的设计方法[ZYN2～ZYN4,ZYN26～ZYN29,ZYN47～ZYN56]，我们可获得定常/静态情况下的ZNN连续模型：

其中，参数γ>0和激励阵列F（·）:Rn×n→Rn×n和前面的定义相同。根据Euler前向差分法则，我们可将上述定常连续ZNN模型离散化为：

其中，0<h≤1表示Xk收敛于逆矩阵A−1时的一个合适的迭代步长（或称学习率、学习步长）。鉴于矩阵A是可逆的，为了后面方程推导的需要，我们可将ZNN离散模型（2.7）写成如下形式：

当t足够大时，考虑到有X k ≈A−1，上式因此可以改写成下列ZNN离散/差分/迭代方程：

另外，若F（·）采用线性激励函数阵列且迭代步长h=1，ZNN离散模型（2.8）可进一步简写为：

值得注意的是，式（2.9）也正是矩阵求逆的牛顿迭代公式。换句话说，我们利用Euler法则可从连续定常的ZNN模型得到其离散的迭代公式，其中一种最简形式正是牛顿公式；或者说，ZNN（2.8）是牛顿迭代公式的广义/推广模型，且我们可以选择不同的激励函数阵列（或改变迭代步长）以减免非线性因素的影响。另外，为了便于理解，离散ZNN模型（2.8）的方框图如图2.9所示。值得指出的是，时变矩阵开平方根、时变非线性方程求解的ZNN模型的离散化也可以类似地导出牛顿法（这一部

分的研究工作还在探讨中）。

2. 研究目标

根据我们关于时变问题的神经动力学设计思想[ZYN2～ZYN4,ZYN26～ZYN29,ZYN47～ZYN56]，首先定义一个矩阵取值、不定无界的误差函数E(X（t）,t)；为使得E(X（t）,t)中的每一个元素误差eij（t）,∀i,j=1,…,n均能（全局指数）收敛于零，我们可利用与展开ZNN设计公式d E(X（t）,t)/d t:=−ΓF(E（X（t）,t）)推导得到求解相应时变问题的一般隐动力学模型，从而建立一套不同于梯度法/Hopfield类型的神经网络新模型、新方法与新理论。

我们在本项目的研究目标主要是提出、探讨、分析和利用新型神经网络（ZNN）模型来求解多类在工程实践应用中可能经常出现的时变问题（也包括定常/静态问题作为特例研究与分析）。

1）时变线性方程组问题

线性方程组的求解是一个基础问题。它在科学和工程中应用广泛，如在优化、信号处理、电磁场系统及机器人逆运动学等方面。在数学上一般可表示为Ax（t）=b，其中系数A∈Rn×n和b∈Rn是定常（即时不变）的。在先前的研究成果中[ZYN6,ZYN54,ZYN56]，按照ZNN设计公式（2.3）展开，我们可得求解时变方程A（t）x（t）=b（t）新型ZNN神经网络模型，其中，系数A（t）∈Rn×n和b（t）∈Rn均为时间t的函数。我们在这一时变问题的求解分析的主要研究目标如下。

（1）深入探讨该模型的鲁棒性问题。

因为在系统硬件实现的过程中，总是不可避免地会出现误差，如系数的微分误差及模型误差∆R（t），其中也包含微分误差。则其扰动系统动力学方程为

通过对系统的鲁棒性分析有助于我们在实际的硬件实现过程中如何减少（甚或避免）误差（或扰动）因素所带来的负面影响。

（2）在线求解机器人逆运动学问题。在速度层上，需要找到角度轨迹θ（t）和末端轨迹r（t），使得末端速度和角速度满足如下机器人的逆运动学方程：

其中，J（θ）∈Rn×n表示Jacobian矩阵。很明显，上述机器人逆运动学问题可以表述为一组时变线性方程组A（t）x（t）=b（t）的实时在线求解，其中系数A（t）:=J（θ,t），及。

2）时变凸二次优化问题

凸二次优化问题在优化控制设计、功率分配、机械臂运动规划和数字信号处理等方面都有广泛的应用。在数学上，不带约束的时变二次优化问题可以表示为

minimize f（x）:=xT（t）P（t）x（t）/2+qT（t）x（t）∈R

和带有时变等式约束的二次优化问题：

minimize f（x）:=xT（t）P（t）x（t）/2+qT（t）x（t）∈R

subject to A（t）x（t）=b（t）

其中Hessian矩阵P（t）∈Rn×n是时变正定的，向量q（t）∈Rn和b（t）∈Rn也是时变的，且假设时变矩阵A（t）∈Rm×n是行满秩的。在此子问题中，我们将主要研究如何在线求解此类时变凸二次优化问题及进一步探讨研究带有时变不等式约束时的优化问题求解模型。

3）时变矩阵平方根问题

矩阵平方根问题广泛应用于科学与工程领域，如控制、优化及信号处理等。时变矩阵平方根的求解可转变为求解如下时变非线性矩阵方程：

X2（t）−A（t）=0, t∈[0,+∞]

其中时变矩阵A（t）∈Rn×n是正定的。与研究其他非线性方程类似，在这个时变问题的研究上，我们需要研究它的求解条件及模型。由于其应用的普遍性及为了便于硬件实现的目的，我们将在连续时变模型的基础上进一步研究矩阵平方根的离散求解模型及其与经典牛顿迭代法（求解平方根时）之间的联系。

4）时变非线性标量方程问题

时变非线性标量方程问题可用如下数学表达式表示：

f（x（t）,t）=0

根据ZNN的设计方法，我们将实时在线求解上述时变非线性标量方程的解。例如，如何实时找到时变非线性方程 f（x（t）,t）=x2−2sin（1.8t）x+sin2（1.8t）−1=0的解，并与传统梯度法神经动力学模型所得结果进行比较分析。而且，在此基础上，将进一步探讨多次时变方根的连续求解模型及其相应的定常（或时变）离散模型。

5）定常（标量和矩阵/向量）问题

定常（即时不变）问题可以看成时变问题的一种特例。这一类问题的求解已经有很多方法提出。而我们主要是根据ZNN的设计方法得到相关问题求解的连续和离散模型。与经典牛顿迭代法不同的是（其仅有一种离散形式），我们可以得到一种通用的ZNN离散模型；比如，求解非线性定常标量方程 f（x）=0时，其ZNN离散模型为

在求解（或硬件实现）时，我们可以通过选择不同的迭代步长h和激励函数φ（·）来改善（或提高）网络模型的求解性能（如加快收敛速度或改善误差性能等）。特别地，当我们选取h=1和线性激励函数φ（x）=x时，即可得到采用牛顿法求解方程 f（x）=0的迭代模型。因此，牛顿迭代模型可以看成ZNN定常离散模型的一种特例。这或许找到了牛顿迭代模型不同于泰勒展开式（或其他方法）的另外一种诠释。在今后的研究中，我们将根据需要（如硬件实现和实际应用等）继续研究更多的（定常或时变）ZNN离散模型，更深入地研究与牛顿迭代模型的联系。另一方面，我们也或将ZNN离散模型运用到更多的实践工程应用（如机器人运动规划与分析）和电路实现中。

3．拟解决的关键问题

我们在求解各类时变问题时，可能会遇到如下待解决的关键问题。

1）求解条件问题

我们已经准确、有效地求解了一些基本的时变问题，如时变矩阵求逆、时变Sylvester方程求解、时变Lyapunov方程求解等。但是在我们对相应的（隐）神经动力学模型/系统进行理论分析时，需要通过详细的数学理论推导来获取具体时变问题的求解条件，以确保所求解的时变问题有解。特别值得指出的是，非线性时变问题由于有多解的缘故，更须仔细推导问题的有解/无解/唯一解/孤立解/多解条件。因此，合适求解条件的探讨将成为我们本项目研究的一个关键问题。

2）初始值问题

对于非线性时变问题的求解，根据理论分析和仿真实验可见，选择一个合适的初始值能使新型ZNN神经网络模型的解更有效、更快地收敛到求解的时变问题的理论解上去。因此，初始值的选取也将是本项目研究的关键问题之一，决定着非线性时变方程/问题的解决成效。

3）网络模型研究

在求解某一具体时变问题或应用时，我们需要推导获得解决该时变问题的ZNN神经网络模型（连续的和/或离散的），并与传统梯度/Hopfield神经网络模型进行对比，各取所长、综合利用，不断发掘、改进和完善新型神经动力学模型，这也是能否成功求解时变问题和新问题的关键因素之一。因此，我们需要建立完备的神经网络模型设计方法以获得用于实时问题求解的各类有效隐/显神经动力学模型。

4）理论分析与实验仿真

即使理论上推得了求解某时变问题的神经网络模型后，并不能因此以为所得的模型一定能使其网络解收敛到真实理论解上。我们还需要根据上述求解条件和初始值从理论上加以更多、更详细的证明和分析，并结合计算机模拟/仿真的方法和工具来验证该神经网络模型求解该时变问题时的有效性、准确性、优缺点、奇异情况等。

（三）拟采取的研究方案及可行性分析

上述以时变矩阵求逆为例详述了本项目的研究内容及方法。现将我们的研究工作方法简单总结如下。

（1）首先分析所求解的具体时变问题的有解/唯一解/孤立解条件，以确保我们的方法适用于所求解的特定问题。

（2）根据新型神经网络模型的设计思想，首先构造一个矩阵取值的、不定无界的误差函数E(X（t）,t)。然后，使E(X（t）,t)中的每一个元素误差eij（t）,∀i,j=1,…,n均收敛于零，我们可利用该新型神经网络设计公式d E（X（t）,t）d t=−ΓF（E（X（t）,t））。

（3）根据所求解的具体时变问题（如时变矩阵求逆、时变Sylvester方程求解、时变矩阵平方根和时变优化问题求解、机器人解析等时变问题），按照第（2）步的设计公式展开，便可得到一个隐神经动力学新型模型/系统，即为时变问题求解的新型神经网络模型。

（4）从理论上分析和证明所获得的神经网络求解器的（全局）稳定收敛特性，并借助于MATLAB的实验仿真平台（含Simulink）从建模/仿真实验的角度进一步测试验证所得的理论分析结果，即验证生成的新型神经网络能否准确有效地收敛到理论的时变解上去。

（5）更进一步地借助于Simulink仿真软件，按照上述所得到的新型神经网络模型进行更系统化和更接近于电路实现的Simulink仿真（含硬件描述语言HDL coder的编码与测试），这可为今后（数字）电路硬件实现该类时变问题求解的神经网络模型奠定坚实基础，以及证实该类时变问题求解的数字硬件实现/协处理器开发的可行性。

在可行性分析方面，我们已开展了部分的基础研究工作，积累了较多的经验，并成功地求解了一些时变问题，比如，时变的矩阵求逆、时变Sylvester方程求解、时变Lyapunov方程求解、时变矩阵开平方根等矩阵/向量方程问题，时变方程 f（x（t）,t）=0问题，时变二次型优化问题以及机器人运动分析问题等。部分工作可参考我们已发表的文献[ZYN2～ZYN4,ZYN26～ZYN29,ZYN47～ZYN56]，这些研究成果可说明我们提出的新型神经动力学方法能够准确有效地求解该一大类时变问题。在这些研究工作的基础上，我们将进一步研究该神经动力学新方法的多类时变问题的求解及其在实践工程中的应用。

（四）本项目的特色与创新之处

在工程实践应用中，时变问题的求解是一个无法避免且经常遇到的问题。目前在许多工程应用过程中，基本上是借助短时不变性假设而近似为定常问题来处理的。这对于精度要求不是很高的工程项目，或许可以通过一些措施（如对相关设计参数提高要求）得以改善。但与此同时也可能需要付出额外的代价（如软硬件成本升高、分析/测试/运算时间加长和计算精度下降等）；有些时候付出了上述代价也不一定能克服因时变因素所带来的负面影响。因此，对于能否实时、在线、准确、有效地求解时变问题将具有一定重要的理论研究和工程实践意义。但据我们所知，目前国内外几乎很少有其他学者的相关文献完备地探讨关于如何解决时变问题的系统化方案（或方法）。所以，在本项目中，我们对该时变问题求解的研究内容和工作具有以下突出的特色和创新之处。

（1）神经动力学新方法的误差函数是一个矩阵取值的、不定无界（即可正、可负，也可无界）的误差函数。由于该新方法充分利用了各时变参数的时间导数信息，因而能准确有效地求解多类时变问题。另外，新型神经网络模型一般采用隐动力学方程描述。根据Kirchhoff和Newton定律，这种模型在自然界中比用显性动力学方程描述的Hopfield类神经网络更具普遍意义。

（2）传统梯度法的能量函数是标量范数（或平方）取值的，且是正的或至少是有下界的。梯度神经动力学模型能够准确有效地求解定常/静态问题。但应用于时变问题的求解时，由于没有利用各时变参数的导数信息，使得基于该方法的神经动力学模型/系统所得的网络解总是与时变问题的理论解（准确解）存在着一定的滞后误差。即基于梯度法的神经动力学系统模型不能准确有效地求解时变/动态问题。

（3）定常/静态问题可以看成时变问题的一种特例。神经动力学新方法也能准确有效地求解该类定常/静态问题。在用该新方法求解定常问题时，可以不用考虑定常系数的导数信息（或考虑到其定常系数的导数为0）。值得指出的是，基于新方法的神经动力学系统模型在定常的情况下一般而言仍采用隐动力学方程表述，不同于用显性动力学方程描述的传统的基于梯度法的神经动力学系统模型。

（4）神经动力学新方法属于一种预测的方法，它的设计方法从方法和系统层面上充分利用了各时变参数的导数信息，具有一定的预测指导能力。因此采用新型神经动力学系统模型时所得的神经网络解可以收敛到实时“运动”的理论解上去。而基于梯度法的神经网络模型属于传统上的跟踪方法，它仅能滞后地去适应各时变参数的变化而被动地调整。因此，采用梯度神经网络模型所得的神经网络解不能跟上实时“运动”的理论解。

（5）从文献[ZYN28]和[ZYN33]中可知，在求解定常问题的情况下，新型神经网络方法的离散模型与牛顿迭代法之间存在着一定程度上的密切关系。求解静态问题的牛顿法可以看成新型神经动力学系统在求解定常问题情况下采用线性激励函数时的一种离散形式（且迭代步长固定为1时）。

（6）新型神经动力学方法的整个推导过程可以比较简单，比如只需本科阶段的一些高等数学知识即可。而梯度神经网络模型的推导则是一个相对较为复杂的过程，它需要更多更深层次的数学知识背景（比如可能需要用到硕士阶段甚至博士阶段的数学背景知识）。

（五）年度研究计划及预期研究结果

1. 年度研究计划

2011.1～2011.5：主要是进行国内外文献的整理工作。查找、跟踪和超越国内外最新的关于时变问题求解的相关文献和技术，并对国内外关于时变问题的研究现状进行分析。

2011.6～2011.12：按照我们提出的新方法设计思想，将所要求解的时变问题转化成神经动力学模型/系统进行求解、分析和验证，主要是解决一些待解决的关键问题，如求解条件问题、初始值问题及网络模型研究等。期间，至少参加两次国内国际会议，在国内外重要期刊和学术会议上投稿两篇以上的相关学术论文。

2012.1～2012.6：针对提出的网络模型进行深入研究。主要是分析动力学系统模型的收敛性和鲁棒性。期间，也将更积极地参与国内外学术会议（两次以上），同国内外专家学者就时变求解交流合作，并加强与国际国内学者的交流合作。我们计划与清华大学、北京大学、华南理工大学、华中科技大学、上海交通大学、新加坡国立大学等高校的导师/学长/同行开展更多学术交流、探讨及学术会议的合作组织。

2012.7～2012.12：将根据我们获得的理论结果进行更深入的仿真实践工作（主要是基于MATLAB/Simulink平台上），同时将这一新型神经动力学新方法初步应用到具体的实例应用中，比如将其所得的网络求解器用硬件实现，或将其应用到机器人控制中。目前，该方法已经应用到基于时变伪逆的冗余机械臂解析及机器人重复运动规划的分析之中，并在这些应用实例方面都取得了一些初步研究成果和研究进展。期间，将参加两次以上的国际国内会议，撰写达到世界先进水平的高质量学术论文3～5篇，同时拟邀请国内国际在这一相关研究领域的知名专家学者与本项目组成员交流合作。

2013.1～2013.10：根据前两年的理论分析、仿真验证及实例应用，尝试将该新型神经动力学模型应用到我们深圳产学研的一个实际项目（编号为SY200806270111A）当中。期间，我们将把相关的研究结果投稿4～6篇论文于国内外重要的学术期刊和会议上，并申请专利1～2项。同时加强项目组成员与国内外相关研究人员（含国际会议交流3～5人次）和其他（高校）教师学生之间的探讨、交流与合作，共同交流和探讨时变问题的各种有效的求解方案，以促进该新型神经动力学方法进一步完备化和系统化。

2013.11～2013.12：归纳整理本项目的研究成果和实验仿真结果，并整理与项目相关的材料，以确保按时验收项目。期间，将尽可能参加1～2次学术会议，投稿两篇以上达到国际先进水平的高质量学术论文及编写1部英文专著。

2．预期研究成果

在本项目中，我们预期取得以下研究成果。

（1）理论研究方面：开发、分析、研究及建立一套较完整、系统和规范的关于求解时变问题的理论成果，并开发出特定时变问题的新型神经网络求解器及对其进行建模仿真，尝试对生成的神经网络求解器进行电路层仿真和实现。

（2）工程应用方面：将这些最新的研究成果能很好地应用于实际的工程项目中（比如我们的一个关于机械臂应用及其控制的产学研项目）。

（3）论著发表方面：在此项目结题前后，我们将在国内外重要的学术杂志/会议上发表相关的学术论文6～10篇和撰写1部英文著作。

（4）人才培养方面：培养（或协助培养）至少两名博士生、6名硕士生和8名本科生。

二、研究基础与工作条件

（一）工作基础

自1996年硕士入学起，课题第一申请人张雨浓即开始从事与本课题相关问题的人工神经网络研究，积极地参加相关领域的学术会议（从当时广东省/中南五省学术会议开始逐渐地延伸到国内国际学术会议），注重同导师、专家、同行和学术大师们的交流和对话，充分把握、跟踪和提升该研究领域的研究进展。通过十余年的研究积累，申请人从理论创新到工程应用已逐步形成了自己的研究风格和体系。从研究思想的提出，到课题的实施、推进直至完成，均能独立地按照国际国内相关标准和项目管理流程运作，确保研究工作的规范性和前瞻性。

值得指出的是，从前文也可以看到，在时变问题的研究上，从2001年3月起，张雨浓就与其导师、同事正式提出用于解决时变矩阵/向量/代数/优化/机器人问题的新型神经网络方法和各类相关的神经动力学模型，先后发表直接相关科研论文30余篇，其中IEEE Transactions论文4篇、SCI杂志论文10篇、EI论文20余篇。这表明申请者及其团队在时变问题研究上已经做了较多的基础工作，反映了本团队对该项目新内容[如时变Sylvester和Lyapunov矩阵方程求解（离散模型）、时变线性方程组求解（离散模型）、时变非线性矩阵方程（如时变矩阵开平方根）的求解、时变非线性方程问题求解、时变优化问题求解及机器臂冗余度解析等]的研究能力较强。

（二）工作条件

第一申请人所在的中山大学信息科学与技术学院拥有“信息安全技术”和“软件技术”两个广东省重点实验室，具有良好的科研软硬件环境。作为学校“211工程”和“国家985工程”的重点建设学科，学院具有充足的计算机工作站、微型计算机及多种实验仪器设备。申请人所在的实验室与网络中心直接用光缆连接，这对国内外科研信息查询、交流提供了极为有利的条件。申请人所在单位建有大型计算中心、仿真中心和测试中心，这些对本课题的顺利开展都有重要的帮助。项目也将依托于“985工程”一期建设的“信息安全技术”广东省重点实验室。

申请人学术交流活跃，经常参加国际学术会议，并与华南理工大学、新加坡国立大学、英国Strathclyde大学、爱尔兰国立大学等学校的相关单位个人建立了密切的合作关系，能及时了解该项目和本研究方向的最新成果和发展动态。

（三）申请人简介

在本项目中，申请人张雨浓将全面主持负责本项目的全面研究工作，并参与到本项目中所涉及的各项理论分析研究及仿真验证等具体、细致的科研工作中。

1．申请人张雨浓简历

张雨浓，男，博士、教授、博士生导师，1973年10月出生。

1992—1996年在华中理工大学攻读学士学位，专业为自动控制工程，毕业论文为《汽车遥控防盗自动化系统》。1996年考入华南理工大学攻读硕士学位，指导导师为毛宗源教授，专业为自动控制工程，毕业论文为《人工神经网络的面向对象软件实现》，期间荣获多项奖励，如西门子奖学金和南粤优秀研究生奖学金。1999—2002年在中国香港中文大学攻读博士学位，导师为王钧教授，专业为机械与自动化工程，毕业论文为《递归神经网络的分析设计及其在控制与机器人系统上的应用》，期间荣获中国香港Lee Hysan研究生奖学金，发表6篇IEEE Transactions论文和3篇其他杂志论文或书章。

2003年取得博士学位后，申请人在新加坡国立大学电力与计算机工程系做博士后研究，合作导师为葛树志教授，职位为博士后研究员（Post-doc Research Fellow），主要研究领域为时变求逆的神经网络和冗余机器人系统。2004 年申请人在多位老师的推荐下，前往英国Strathclyde大学工作，指导老师为W.E.Leithead教授，职位为研究员（Research Fellow），主要研究领域为高斯过程回归及其快速算法。由于项目的安排，自2005 年，申请人由英国Strathclyde大学转往爱尔兰国立大学Maynooth分校哈密顿研究所工作，合作导师仍为W. E. Leithead教授，职位为研究科学家/研究员（Research Scientist/Research Fellow）。2006年中回国，受聘于中山大学信息科学与技术学院，任“百人计划”教授，9 月开始正式授课，并于2007年入选教育部“新世纪优秀人才支持计划”（编号为NCET-07-0887），主要研究领域为人工神经网络、科学计算及优化研究和冗余机器手臂。

申请人多次参加和参与组织国际学术会议并担任组委会成员和小组主席。迄今，共发表（和录用）与本项目相关的中英文论著近140余篇。其中，英文期刊30余篇（含10篇IEEE Transactions论文，其中6篇是IEEE Transactions长文），国际会议70余篇。另外有两章书中章节、两本专著、两本译著和30余篇中文杂志论文。博士论文《递归神经网络的分析设计及其在控制与机器人系统上的应用》也已经在ACM Portal上发布。

1）申请人参与组织的国际学术会议及专业服务

①小组主席，第6届神经网络国际论坛（ISNN），中国武汉，2009.5。

②小组主席，2008年神经网络国际联合会（IJCNN），中国香港，2008.6。

③出版副主席（Publications co-Chair），第5届神经网络国际论坛（ISNN），中国，2008。

④小组主席，2008年网络、传感及控制国际会议（ICNSC），中国三亚，2008。

⑤程序委员会成员（Program Committee Member），IEEE智能控制国际论坛，新加坡，2007。

⑥程序委员会成员，IEEE智能控制国际论坛（ISIC），德国慕尼黑，2006.10。

⑦程序委员会成员，通信，电路与系统国际会议（ICCCAS），中国桂林，2006.6。

⑧程序委员会成员，IEEE机器人自动化国际会议（ICRA），美国佛罗里达，2006.5。

⑨程序委员会成员，第3届神经网络国际论坛（ISNN），中国成都，2006.5。

⑩小组主席，第4届网络传感与控制国际会议（ICNSC），美国佛罗里达，2006.4。

⑪ 小组主席，第15届机器人控制国际论坛（ISMCR），比利时布鲁塞尔，2005.11。

2）申请人参与的和/或受资助的项目

①“冗余机器人实时运动规划的统一理论”，60775050，国家自然科学基金委员会，中国，2008.1～2010.12。

②教育部“新世纪优秀人才支持计划”，NCET-07-0887，教育部，2008.1～2010.12。

③“机器手臂的基于二次规划的冗余度解析方案”，60643004，国家自然科学基金委员会，中国，2007.1～2007.12。

④“冗余机器手臂的二次规划解析”，4105337，教育部留学回国人员基金项目，2009.1～2011.12。

⑤“百人计划”，3171311，中山大学引进人才科研启动费，2006.6～2009.6。

⑥“The Optimization Part of Gaussian Process Regression”, Supported by the Science Foundation Ireland Grant, 00/PI.1/C067, Ireland, and by the EPSRC, GR/M76379/01, UK, 2001-2006.

⑦“Multilayer Recurrent Neural Networks for Real-Time Optimization and their Applications to Optimal Control of Kinematically Redundant Manipulators”, Funded by the Hong Kong Research Grants Council（CUHK4165/98E）,China,1998-2001.

⑧“Multilayer Recurrent Neural Networks for Synthesizing and Optimizing Robust Linear and Nonlinear Control Systems”,funded by the Hong Kong Research Grants Council（CUHK4150/97E）, China,1997-2000.

3）申请人已发表（含录用）与本课题研究相关的论著88篇

这里不再给出相关论文情况，读者可根据申请课题的需要，分类给出相关论文。

2. 项目组成员简历

（1）易称福，男，博士生，1978年9月出生。2007年7月毕业于江西理工大学，获计算机应用技术硕士学位。现为中山大学信息科学与技术学院通信与信息系统专业在读博士生。参与多个基金项目助研工作。在重要刊物和相关国际会议上已发表多篇论文（论文略）。

（2）蔡炳煌，男，博士研究生，1981年9月出生。2000年9月至2004年6月在汕头大学电子工程系电子信息工程专业攻读学士学位，毕业设计导师崔岩副教授，毕业论文被评为汕头大学优秀毕业论文，多次获得奖学金和各种荣誉，汕头大学优秀毕业生。2004年9月至2007年6月在汕头大学电子工程系信号与信息处理专业攻读硕士学位，导师沈民奋教授，期间发表了4篇学术论文，参与了多个科研项目的研究工作，2006年汕头大学优秀研究生，广东省2006年南粤优秀研究生。2007年9月至今在中山大学信息科学与技术学院通信与信息系统专业攻读博士学位，导师张雨浓教授，参与到冗余机械臂相关的国家基金项目的研究工作中，已在重要刊物和国际会议上发表（含录用）论文成果十余篇，2008 年10 月获得中山大学2007—2008学年度优秀研究生奖学金，2008年12月获得The 2nd International Symposium on Systems and Control in Aeronautics and Astronautics（ISSCAA 2008）最佳论文奖。已发表的与本项目相关的论文略。

（3）李克讷，男，博士研究生，1978年4月出生。2002年7月毕业于华南理工大学，获高分子材料科学与工程专业工学学士学位。在企业工作一年多之后，2004年起在广东工业大学攻读硕士学位，于2007年7月获信号与信息处理专业工学硕士学位，现为中山大学信息科学与技术学院通信与信息系统专业在读博士生。李克讷参与了多个基金项目的助研工作，在重要学术刊物上发表论文多篇（论文略）。

（4）阮恭勤，男，硕士生，1985年6月出生。2008年7月毕业于广东工业大学，获电子信息工程学士学位。现为中山大学信息科学与技术学院通信与信息系统专业在读硕士生。参与多个基金项目助研工作。现已发表一篇国际学术会议论文，并投稿两篇论文（论文略）。

许朋，男，硕士生，1985年10月出生。2008年7月毕业于华北水利水电学院，获信息与计算科学学士学位。现为中山大学信息科学与技术学院检测技术与自动化装置专业在读硕士生。现已发表（含录用）两篇国际会议论文（论文略）。

（5）李展，男，1987 年11 月出生。现为中山大学信息科学与技术学院通信与信息系统专业硕士研究生。已发表相关的学术论文3篇（论文略）。

（6）李学忠，男，本科生，1986年9月出生。现为中山大学软件学院通信软件专业在读硕士研究生。参与实验室神经网络硬件研究工作。发表两篇国际会议论文（论文略）。

（四）承担科研项目情况

项目名称：冗余机器人实时运动规划的统一理论，60775050，国家自然科学基金，2008年1月～2010年12月。

主要内容：机器手臂是一个末端能动机械装置，其运动任务包括焊接、油漆、组装等，有着广泛的工业生产应用背景。冗余机器手臂因为其多余的自由度而拥有更大的操作空间和能满足更多的约束，比如它可以躲避自身物理极限和环境障碍物。但实时控制冗余机器人存在一个关键问题，即冗余度的实时解析（或称实时运动规划）。通过对基于伪逆的解析方法的优缺点分析，我们提出一套基于二次型优化的统一的冗余度解析方案及理论框架。该统一理论能将各种深含物理意义的目标函数归纳为一个二次型优化目标；并以等式、不等式和双端约束来分别表述机器人末端运动、环境及自身的物理约束。我们应用递归神经网络，正在开发二次优化问题的实时求解器。这个将各方案统一为优化问题并实时求解的机器人运动规划理论有利于我们对现有工作的更深刻系统的理解，也有利于我们对未来工作更远的展望。这个研究工作有其相应的生物学背景和意义，比如用于分析人手、象鼻、蛇等自然冗余系统的运动。

与本项目关系：①都与数学有着紧密的关系；②都是利用递归神经网络来求解；③在未来的研究工作中，我们也可利用新型神经网络模型来求解具有等式、不等式约束的动态优化问题；④我们也在尝试用新型神经网络来求解控制机器手臂的运动规划问题。在此项目中我们主要负责解决机器人冗余度的实时解析（或称实时运动规划）问题。

（五）完成自然科学基金项目情况

项目名称：机器手臂的基于二次规划的冗余度解析方案，项目编号为60643004，项目类型为专项基金项目（科学部主任基金），执行年限为2007年1月～2007年12月。

完成情况：已完成并结题，并被专家组评为“优秀”。

后续研究工作：本项目已较好地完成预期研究目标和研究内容。由于该项目执行时间较短，仍有部分工作可以更深入地研究，比如示范性的多自由度机器手或象鼻状机器人的开发与控制等，我们将在目前的研究项目和以后的/其他的科研工作中继续开展更进一步的研究。

与本项目关系：①都与数学有紧密的关系；②都是利用递归神经网络来求解；③在未来的研究工作中，我们也可利用时变的神经网络来求解具有等式、不等式约束的优化问题；④我们也在尝试用新型神经网络来求解控制机器手臂问题。此项目主要涉及机器手臂的二次规划冗余度解析。

总结摘要：机器手臂是一个末端能动机械装置，其运动任务包括焊接、油漆、组装等，有着广泛的工业生产应用背景。冗余机器手臂因为拥有多余的自由度而拥有更大的操作空间和能满足更多的约束。但实时控制冗余机器人存在一个关键问题：冗余度的解析。通过对经典的基于伪逆的冗余度解析方案的优缺点分析，我们提出了一种基于二次型优化的冗余度解析方案。同时开发与应用对偶神经网络、基于线性变分不等式的原对偶神经网络等实时优化求解器来在线求解该二次型优化问题，从而做到冗余度的实时解析。各种冗余度解析方案（含重复运动和双判据等）的研究分析，以及它们在PUMA560、PA10等不同机器手臂模型上进行的计算机仿真验证，表明了该基于二次型优化的冗余度解析统一方案的有效性。本项目提出的一个统一的解析框架，有利于我们对现有工作更深刻、更系统的理解，也有利于我们对未来工作有更深远的展望。项目已发表多篇论文到国际国内杂志和会议上，其中书中章节1篇，已发表论文14篇。招生培养研究生共9名（硕士生7名，博士生两名），并组织了两个国际会议中的专题研讨会，已完成项目的预期目标和研究内容。

相关成果：项目执行一年并完成后，已有15篇论文成果发表到国际国内杂志和会议上，其中受邀发表41页的书中章节1章，发表（或已录用）论文14篇。招生培养研究生共9名，并组织了两个国际会议中的专题研讨会，参加了多个国际会议组委会的工作（论文略）。

第二节 本章总结

本章以2010年国家自然科学基金面上项目为载体，详细地介绍了作者团队提出的用于求解时变问题的新型神经网络模型与方法。与传统被动追踪的梯度法神经网络模型与方法（其仅能准确求解时不变/静态问题）不同，作者团队提出的这种新型神经网络属于一种预测模型和方法，它可以利用时变系数的导数信息以求实时地收敛到时变问题的理论解上。本章也重点介绍了这种新型神经网络模型与方法的具体构建过程以及与其他神经网络模型与方法（如梯度法神经网络模型与方法）的不同之处。在本章中，这种新型神经网络模型和方法被应用于解决很多常见的时变问题，如时变线性方程求解（包括模型的鲁棒性分析、在线求解机器人逆运动学问题等），时变凸二次优化问题，时变矩阵平方根问题，时变非线性标量方程问题以及定常（标量和矩阵/向量）问题。在求解这些时变问题时，关键要解决的问题以及相应采取的研究方案也详细介绍了，如求解条件问题、初始值问题、网络模型研究以及理论分析与仿真实验等。作为一类比较完备探讨关于如何解决时变问题的系统化方法，作者在申请书中也归纳了这种新型神经网络模型和方法的特色和创新之处。

另外值得指出的是，从申请书可以看到，作者团队在申请该项基金之前已经做了大量的前期准备工作，已经对时变问题求解的神经网络模型与方法有了较深层次的认识和把握，已经很有信心和能力完成该项目了。这些信心和能力体现在作者团队在新型神经网络模型与方法上已经发表了很多相关成果。这最终促成了该项目的获批立项。我们也因此感谢学校科技处老师和学院科研秘书在该项目申请和开展中给予的关心和指导，以及基金委返回的宝贵的评审意见。他们的大力支持和热心帮助使得各基金项目得以更顺利地申请、开展和结题。无论申请基金项目成功与否，申请过程中的经验以及得到的相关建议都不同程度地启发作者团队对现有工作更深层次、更全面和更准确的思考与改进，也希望它们通过本书能提供给广大读者一个有益的参考和借鉴。