1.1.2　发展现状

多源信息融合技术的发展历史可以追溯到20世纪70年代，当时美国军方已开始探索利用多个传感器进行情报监测和目标跟踪。20世纪80年代末，美国国防部在多源信息融合方面制订了一个统一的研究计划，促进了该领域的发展。20世纪90年代，随着计算机和通信技术的迅速发展，多源信息融合技术得到了广泛应用，由军事应用迅速向民事应用转化。随着人工智能技术的进一步发展，信息融合技术朝着智能化、集成化的趋势发展，各种面向复杂应用背景的多传感器系统大量涌现。信息表示形式的多样性、海量信息处理的困难性、数据关联的复杂性，以及信息处理的及时性、准确性和可靠性，都是前所未有的[4]。信息融合技术已成为信息时代科技发展的重要方向和研究热点。本节从多源信息融合的功能模型、框架、系统结构、理论方法、优势以及应用领域六个方面对信息融合的发展现状进行介绍。

1.1.2.1　多源信息融合的功能模型

历史上曾出现过不同的信息融合功能模型，JDL模型首先被提出，其后几经修订，被越来越多地应用于实际系统。其他的功能模型还包括Bowman Df & Rm模型[5]、Luo-Kay模型[6]以及Pau模型[7]。

1.JDL模型

JDL模型主要解决数据融合问题，其结构如图1-1所示。原始的JDL模型将融合过程视作在四个不同层次上进行的数据处理过程，即对象、情境、影响和过程细化。在该模型中，包括目标评估、态势评估、影响评估和过程评估四个阶段。但原始JDL模型是典型的功能模型，因此无法判断这些功能中的任何一个评估过程是由人实现的还是由自动化算法流程实现的[8]。

在信息融合模型中，低层信息向高层信息转化的关键在于能否利用上下文信息，即模型不再局限于原始传感器数据和独立个体特征信息，而是在融合过程中考虑结构、场景、结果和系统本身各个方面的信息。为了使JDL模型具备利用上下文信息的能力，JDL数据融合信息组（Data Fusion Information Group，DFIG）模型在系统中引入了数据融合和资源管理功能，以人作为观测者的方式来突出用户的参与度，实现了在数据融合过程中对上下文信息的推理。随后，相关学者和从业人员对以DFIG模型为主的JDL模型结构进行了重新修改[9]，研究人员在设计基于DFIG模型的融合系统时，更关注信息管理、高级可视化、数据挖掘，以及团队、优先级和协调等功能，这些功能有助于DFIG模型应对更多复杂的信息融合任务和资源管理方面的挑战。

JDL模型的几次修订在一定程度上解决了其侧重于数据（输入/输出）而不是融合处理及限制性太大等问题，但JDL模型仍会因受限于某些实际任务需求而难以用于实践。为此，Dasarathy模型[10]从软件工程的角度将融合系统看作以输入/输出及功能（过程）为特征的数据流，它主要用于在多传感器目标识别和跟踪环境中做出最优决策。Dasarathy模型融合范式旨在对一组传感器进行并行数据融合，然后嵌入递归系统结构中，以提高融合决策的可靠性[11]。相似地，针对决策的可靠性难以表示的问题，Goodman等[12]基于随机集概念提出了一种融合框架，能将决策不确定性与决策本身结合起来，并提供一个完全通用的不确定性表示方案。Omnibus模型[13]基于智能循环和Boyd控制循环的性质，构建了一种具有更精准定义的瀑布模型，每个定义都可以与JDL模型和Dasarathy模型中的一个级别相关联。不同于在JDL模型和Dasarathy模型中忽略的数据内循环反馈过程，Omnibus模型通过保留Boyd循环结构而使数据融合过程的循环性质变得明确。

2.Bowman Df & Rm模型

Bowman Df & Rm模型是Bowman在1980年提出的一种用于解决多传感器、多目标识别和跟踪问题的通用数据融合架构。Bowman认为，尽管JDL模型已经在许多数据融合应用中取得了不错的成效，但在开发实际系统时作用较小。因此，Bowman提出了“数据融合层次树”的概念，并将融合问题划分为节点，从概念上讲，每个节点都涉及数据链接、估计和关联等功能。在Bowman Df & Rm模型中，为了评价具有非确定性未知目标对数据和决策结果的相对不确定性的影响，采用了基于相关假设和先验信息的数据处理方法，提出了一种包括生成假设和评估反馈（假设校验）的结构，如图1-2所示。此外，Bowman Df & Rm模型在估计和控制之间存在二元性（对偶性），即数据融合和资源管理系统可以使用网络节点之间的交互组合和管理来实现，这使Bowman Df & Rm模型结构中的不同级别数据类型、来源、模型和结论的含义也不同。

3.Luo-Kay模型

Luo-Kay模型是Luo和Kay在1988年提出的一种基于多传感器集成的通用数据融合结构[6]。在该模型中，多个信息源的数据以分层方式在嵌入式中心内组合，体现了多传感器集成和多传感器融合两者之间的区别。如图 1-3所示，Luo-Kay模型将多个传感器在四个不同的级别中进行数据融合。在该模型中，将传感器采集的数据传输到融合中心，并以分层有序的方式进行融合处理。数据以各种方式在数据中心进行组合，并且不同数据信息还能表示相应的融合级别。

4.Pau模型

Pau模型是一种基于行为知识的数据组合模型[7]，也是一种典型的分层结构，如图1-4所示。在Pau模型中，首先从原始数据中提取特征向量，其次将该向量与定义的属性对齐并关联，再次在传感器特性融合与数据分析两级中进行数据信息的组合、分析、聚类，最后根据一系列的行为规则进行决策。此外，Pau模型是一种由三个显示级别组成的分层方法。在第一层，每个传感器都有一个向量空间，包含坐标尺寸和测量参数；在第二层，提取向量的适当特征，并将标记与它们连接起来；在第三层，将特征向量与事件相关联，并定义环境模型、融合策略。

1.1.2.2　多源信息融合的框架

根据融合系统中数据抽象的层次，多源信息融合可以分为三个级别：数据级融合、特征级融合以及决策级融合。

1.数据级融合

数据级融合是一种低层次的融合方法，直接对多个同类传感器提供的原始测量数据进行融合，并基于融合后的结果进行特征提取和属性判决，其基本框架如图 1-5 所示。数据级融合能够有效地保留被测目标的原始测量信息，具有较高的精度。数据级融合需要处理大量传感器数据，导致处理时间长和实时性差；需要处理传感器信息的不确定性、不完全性和不稳定性，因此需要具备较高的纠错处理能力；需要传感器是同类的，即提供对同一观测对象的同类观测数据；需要数据通信量大、抗干扰能力差。

通常情况下，数据级融合可应用于图像融合以及同类雷达波形的直接合成等领域。常用的数据级融合方法有加权平均、卡尔曼滤波以及贝叶斯理论等。在实际工程中，同一变量可能存在多个先验信息，且这些先验信息可能不完全一致，需要在融合过程中考虑如何降低信息不一致性带来的误差。

2.特征级融合

特征级融合从各传感器提供的原始测量数据中提取特征，并形成特征向量，然后经数据关联后进行特征融合，最后根据融合结果进行属性判决。特征级融合属于中间层次融合，其基本框架如图 1-6 所示。特征级融合能够实现同类或异类传感器的信息融合，数据量小，算法实时性较高，但由于对原始测量信息进行了压缩，因此在一定程度上造成了信息损失。

特征级融合分为目标状态信息融合和目标特征信息融合两类。其中，目标状态信息融合主要用于目标跟踪领域，在进行数据处理后，通过卡尔曼滤波理论、联合概率数据关联、多假设法、交互式多模型法等数学方法，实现数据相关和状态估计。目标特征信息融合则更多地涉及模式识别问题，常见的数学方法有参量模板法、特征抽取法、聚类方法、人工神经网络等。特征级融合具有较低的计算复杂性，但是各模态特征提取合成后通常具有较高的维度，会导致融合的特征通常包含大量的冗余信息。为解决这一问题，可以使用主成分分析法和线性判别分析法对合成后的特征进行降维处理，提高计算效率。

3.决策级融合

决策级融合是一种高层次的融合方法，各传感器根据原始测量信息提取特征并形成初步的判决结果，然后将各传感器的判决结果进行决策级的融合处理并形成最终的判决结果。决策级融合的基本框架如图 1-7所示。决策级融合能够实现同类或异类传感器的信息融合，通信量小，抗干扰能力强，不同传感器之间的依赖性小，但信息损失较为严重。常用的决策级融合方法有：

（1）投票表决法，以投票表决的形式对各传感器初步的判决结果进行融合。

（2）贝叶斯估计法。该算法首先将各传感器提供的不确定信息表示成概率，然后通过贝叶斯公式进行处理，最后根据某种规则做出决策。

（3）证据理论。Shafer于1976年提出了处理不确定信息的证据理论，并将其应用于多目标分类的决策级融合，证据理论以信度函数理论为基础进行不确定性推理，由于不需要满足常规概率函数的叠加性，因此能够直接有效地表达不确定性。同时以D-S证据理论为基础，衍生出多种信度函数合成规则，如DSmT规则、Yager规则等，不同规则适用于不同的实际情况。

由上述分析可知，三种不同层次的信息融合方法各有其优点、缺点和适用范围，三种融合方法的性能对比如图1-8所示。假设各个传感器数据相互匹配，则测量的传感器数据可直接在数据层中融合。当各个传感器数据相互不匹配时，则需要根据特定情况来判断应采取特征级融合方法还是决策级融合方法。无论是数据级融合、特征级融合还是决策级融合，都需要将相关的信息进行关联和配准，区别在于数据的相关性和相互匹配的顺序是不一样的。对于特定用途，应该全面考虑所处的环境、计算资源、信息来源特征等因素的综合影响。

1.1.2.3　多源信息融合的系统结构

在多源信息融合流程中，根据不同的应用场景，研究人员提出了不同的系统结构，这些系统结构可分为三种类型：集中式结构、分布式结构和混合式结构。

1.集中式结构

集中式结构主要应用于加工传感器的原始数据，如图1-9所示。在集中式结构中，传感器所记录的检测报告直接发送到融合中心进行数据对准、点迹关联、数据互联、航迹滤波、预测和综合跟踪，充分利用了传感器的信息。在该结构中，传感器模块本身具有跟踪处理能力，利用传感器自身获取的量测形成目标轨迹，将跟踪处理关联的量测传送给融合中心，由融合中心进一步实现对各传感器量测的综合跟踪处理。融合中心的跟踪结果可以反馈回各传感器的跟踪处理环节，改善各传感器局部航迹的性能，但会增加通信带宽的要求，提高了传感器的跟踪处理复杂度。

2.分布式结构

分布式结构首先分别对局部数据进行预处理，其次进行信息融合，如图 1-10所示。分布式结构与集中式结构的不同之处在于，每个传感器的检测报告在进入融合中心之前，其本身的数据处理器会生成局部多目标跟踪航迹信息，然后将处理后的信息发送至融合中心。融合中心通过各个节点的航迹数据完成航迹相关和航迹融合，并形成整体估计。在该结构中，传感器本身具有跟踪处理能力，利用传感器自身获取的量测形成目标轨迹，将形成的目标轨迹传送给融合中心，由融合中心进一步实现各传感器的融合处理。

3.混合式结构

混合式结构同时加工原始数据和预处理过的数据，是集中式结构和分布式结构的组合，如图1-11所示。混合式结构同时传输检测报告和经过局部节点处理后的航迹信息。

上述三种系统结构各有特点。集中式结构具有良好的信息完整性，系统数据信息损失小，性能比较好，但通信压力大、系统稳定性不佳；分布式结构因可靠性高而受到用户欢迎，但其损失了信息的完整性，性能较集中式略差；混合式结构综合了前两种结构的优点，但在通信带宽、计算量、存储量方面一般需要付出更大的代价。因此，需要根据实际应用需求选择合适的信息融合处理结构。

1.1.2.4　多源信息融合的理论方法

信息融合作为对多源信息的综合处理过程，涉及的知识领域广泛。传统的估计理论方法和识别算法为信息融合技术奠定了不可或缺的理论基础。近年来出现的一些基于不确定性推理与人工智能的新方法，逐渐成为推动信息融合技术发展的重要力量。

1.估计理论方法

估计理论方法一般包括小波变换、加权平均、最小二乘、卡尔曼滤波等线性估计技术，以及扩展卡尔曼滤波、高斯（Gauss）滤波等非线性估计技术。近年来，研究人员致力于无迹卡尔曼滤波器和分开差分滤波器，以及基于随机采样技术的粒子滤波和马尔可夫链蒙特卡罗方法等非线性估计技术的研究，并取得了很多有价值的研究成果[14]。期望极大化算法可为求解不完全测量数据情况下的参数估计与融合问题提供一种全新的思路。另外，通过建立一定的优化指标，可以借助最优化方法来获得参数或状态的最优估计。典型的最优化指标是指极小化均方误差和极小化拟合误差。基本的估计准则主要包括最小二乘估计、最小均方误差估计、极大后验估计和最大似然估计等。

针对实际融合系统中存在的不确定性和非线性特性，基于混合系统的多模型估计是一种鲁棒性强的自适应估计方法。该方法通过从不同的角度对问题建立模型并进行融合，以得到最终的模型，避免了直接建模的复杂性。多模型估计方法可以得到符合目标过程特征的实施过程模型，当该过程发生变化时，融合机制可以将这种变化实时反映到实施过程模型中，保证实施过程模型的正确性，提高实施效率和质量。多模型估计方法利用多模型来逼近系统的动态性能，进而对目标跟踪测量的多传感器多模型进行融合处理，获得其状态的最优估计。在多模型估计中，核心问题是如何通过单一模型状态的估计来获得系统状态的最优估计。

2.不确定性推理方法

在多源信息融合中，信息源提供的信息一般都是不完整的、不精确的或者模糊的，即信息包含大量的不确定性。信息融合中心需要对这些不确定性信息进行推理，进而达到目标身份识别和属性判决等目的。因此，不确定性推理方法是目标识别和属性信息融合的基础。不确定性推理方法包括主观贝叶斯方法、信度函数理论、模糊推理、粗糙集理论等。

1）主观贝叶斯方法

基于主观贝叶斯方法组合先验信息和观测信息，即用概率描述观察的信息和必要的过程信息，并利用特定规则将其组合，以得到最终的决策信息和综合描述。主观贝叶斯方法以统一的概率度量表示所有类型的不确定性[15]。设A1,A2,⋅⋅⋅,Am为样本空间S的一个划分，满足Ai∩Aj=∅(i≠j) ,A1∪A2∪⋅⋅⋅ ∪Am=S以及p(Ai)>0(i=1,2,⋅⋅⋅,m) ，则对任意事件B，p(B)>0 ，主观贝叶斯条件概率公式为

将主观贝叶斯方法应用于多源信息融合时，要求系统可能的决策相互独立。这样，就可以将这些决策看成一个样本空间的划分，使用主观贝叶斯条件概率公式解决系统的决策问题。设系统可能的决策为A1,A2,⋅⋅⋅,Am，某一信源提供观测结果B，如果能够利用系统的先验知识及该信源的特性得到各先验概率p(Ai) 和条件概率p(B|Ai) ，则利用主观贝叶斯条件概率公式，根据信源的观测结果将先验概率p(Ai) 更新为后验概率p(Ai|B) 。当有n个信源，观测结果分别为B1,B2,⋅⋅⋅,Bn时，假设它们之间相互独立且与被观测对象条件独立，则系统有n个信源时的各决策总的后验概率计算公式为

最后，系统的决策可由某些规则给出，如取具有最大后验概率的目标作为系统的最终决策。

主观贝叶斯方法具有公理基础和易于理解的数学性质，仅需中等的计算时间，但该方法要求所有的概率都是独立的，这给实际系统带来了很大的困难。此外，主观贝叶斯方法要求给出先验概率和条件概率，由于很难保证领域专家给出的概率具有前后一致性，需要领域专家花大量的时间来检验系统中概率的一致性，因而使主观贝叶斯方法的应用受到一定的限制。

2）信度函数理论

信度函数理论又称Dempster-Shafer（D-S）证据理论，是由Shafer在Dempster工作的基础上形式化为基于证据的一般推理理论。信度函数理论引入了不确定性的概念，可以认为是对主观贝叶斯理论的推广。此外，信度函数理论还能处理不同粒度的信息并进行融合。例如，在人体行为识别中，所识别的结果可以是粗粒度的静止状态和运动状态，也可以是躺、坐、站、走、跑、跳等细粒度状态。假设集合Θ={θ1,θ2,⋅⋅⋅,θ6} 中的元素分别表示躺、坐、站、走、跑、跳六类动作行为，则将Θ称为鉴别框架，2Θ={ϕ,{θ1},{θ2},⋅⋅⋅, {θ6},{θ1∪θ2}, {θ1∪θ3},⋅⋅⋅,Θ} 是Θ的所有子集的集合（也称幂集）。m(A) 是当前证据对命题A的支持度，即基本信任分配值。由于在实际中不存在类似于“既跑又躺”的状态，因此这部分基本信任分配值为0。同一个鉴别框架下的任意信源的多个焦元满足：

在融合多源信息时，每个信源对应一个独立的mass函数m(⋅) ，n个信源可以采用D-S证据理论进行组合，其计算式为

式中：k为冲突系数，用于度量不同证源之间的冲突程度。k越大，证源间冲突越大；当k=1 时，Dempster规则失效，在实际应用中，这种情况很少发生。

D-S证据理论在处理不确定信息的融合方面具有很大的优势，但是该理论难以处理高度冲突证源之间的融合问题。美国学者Smarandache和法国学者Dezert于2004年在D-S证据理论的基础上提出了更加朴素的信息融合推理框架，即似是而非理论（Dezert-Smarandache Theory，DSmT）[16]。该算法可以看成D-S证据推理的扩展。DSmT可以静态或动态地融合不确定的、不精确的以及高冲突的信息，具有较为广泛的应用前景。DSmT框架下的经典组合规则（The Classic DSm Rule of Combination，DSmC）为

除此之外，DSmT框架下常见的组合规则还有混合组合规则以及比例冲突重新分配规则，更多关于DSmT的相关知识见本书的2.2节内容。

3）基于模糊推理的融合

在处理不精确推理任务时，不同传感器对同一目标所给出的观测结果往往是模糊的、不确定的，这种情况需要基于模糊集理论进行推理融合。一个模糊集F⊆X由对应的渐进隶属函数μF(x)(μF(x)∈[0,1],∀x∈X) 定义X中元素x的隶属度，即隶属度越高，x越属于F，这使模糊数据融合为一种针对不精确数据的有效解决方案。模糊推理首先使用渐进隶属函数对数据进行模糊化，然后使用模糊融合规则产生模糊融合输出。模糊融合规则可分为合取和析取两类：合取如式（1-6）所示，分别表示两个模糊集的标准交集和乘积；析取如式（1-7）所示，分别表示两个模糊集的标准并集和代数和。

通常在融合可信度相同的同质传感器数据时，会采用联合模糊融合规则。此外，当存在至少一个可靠数据源却不知道具体哪个数据源可靠时，或者在融合存在高度冲突的数据时，合取和析取这两个融合规则难以同时联合使用。为此，研究人员提出了自适应的模糊融合规则，如式（1-8）所示，它是一种针对上述两种情况的自适应模糊融合规则[17]。其中，h(μF1(x),μF2(x)) 用于衡量渐进隶属函数μF1(x) 和μF2(x) 之间的冲突程度，μ1和μ2分别是期望的合取模糊融合规则和析取模糊融合规则。

类似于主观贝叶斯方法与信度函数理论，模糊推理需要先验概率分布知识和不同模糊集的先验隶属函数。相比于主观贝叶斯方法与和信度函数理论，模糊集理论适用于不明确目标的模糊隶属度建模与融合等问题。

4）基于粗糙集的融合

粗糙集理论由Pawlak教授于20世纪80年代提出[18]，用于数据分类分析，其主要目的是由获取的数据综合出近似的概念。粗糙集理论通过上近似运算、下近似运算对论域中不确定性进行刻画，进一步得到概念的分类以及决策规则等。这已广泛应用于不精确、不完全数据的研究中。

在信息融合模型中，粗糙集理论将允许基于输入数据的粒度来近似系统的可能状态。一旦近似为粗糙集，数据片段就可以使用经典的合取或析取融合算子进行融合，即分别为交集或并集。为了使融合效果较好，数据的粒度既不能太细，也不能太粗糙。若数据粒度太细，粗糙集理论将简化为经典集理论；若数据粒度太粗糙，数据的近似值可能是空的。整体而言，相比于其他融合理论，粗糙集理论的主要优势在于它不需要任何先验或附加信息（如数据的概率分布或隶属函数），以及允许融合仅基于其内部结构近似的不精确数据。

在实际应用中，目标会存在多个特征属性，每个特征属性都是一个不同来源的输入信息。每个属性特征可以构造出一个集合并映射出对应的属性值，不同属性的粒度大小是可以不一致的，即粗糙集理论允许跨粒度的信息融合。粗糙集理论可以将多个不同来源的属性进行组合推理，以确定最终的目标类别。有时需要同时考虑多个粒度结构，即有多个二元关系需要同时考虑，在此情况下需要建立广义粗糙集模型。研究人员对决策过程中人们的风险偏好进行考虑，分别基于“求同存异”和“求同排异”两种不同的融合策略，对经典的粗糙集模型进行了扩展，建立了乐观多粒度粗糙集模型和悲观多粒度粗糙集模型。乐观多粒度粗糙集模型是基于“求同存异”的信息融合策略建立的，在需要用多个粒度结构来近似刻画目标概念集时，采取一种具有乐观风险偏好的决策策略，即决策可在各个粒度空间下进行，避免与其他粒度空间下的决策相互冲突。也就是说，在多个粒度框架下进行近似刻画时，某一元素只要在任意粒度结构下划分到下近似集中，则该元素就可以定义为下近似集中的元素。

5）四种经典融合理论方法的比较

作为多源信息融合中最常用的四种数学方法，主观贝叶斯方法、信度函数理论、模糊推理和粗糙集理论都有各自的特性，它们的优缺点如下。

（1）主观贝叶斯方法：主观贝叶斯方法是一种可靠的数据建模方法，可以根据已知数据和模型进行预测和决策。它的优点是具有严格的理论基础和广泛的应用领域。但是，它需要大量的数据进行建模，并且对于某些复杂问题，可能需要大量的数据才能达到足够的准确性。

（2）信度函数理论：信度函数理论是一种描述不确定性的方法，它考虑的是变量取值的可信程度。它的优点是可以处理各种类型的不确定性，包括随机性和非随机性；也可以对不同来源的数据进行加权，从而提高融合结果的准确性。但是，信度函数的构建和选择需要经验和专业知识的支持。

（3）模糊推理：模糊推理是一种基于模糊逻辑的推理方法，可以处理模糊和不确定性问题。它的优点是可以对不确定的数据进行建模和分析，适用于实际中存在的模糊和不完整问题。但是，模糊推理的结果可能不够准确，且需要选择合适的模糊集和逻辑运算方法。

（4）粗糙集理论：粗糙集理论是一种处理不确定性数据的方法，它将数据分为不同的等价类。它的优点是可以处理数据的不完整性和不确定性，并且可以用较少的数据得到较好的结果。但是，它的计算复杂度很高，而且在处理大规模数据时可能不太实用。

为了更为简洁、直观地展示不同方法的特性，现将其部分信息汇总在表 1-1中。

3.人工智能方法

人工智能（Artificial Intelligence）是一门以计算机科学为基础，研究、开发用于模拟、延伸和扩展人的智能的理论、方法及应用系统的新技术。人工智能方法在不引入先验知识的条件下，通过对数据进行预处理和分割、对特征信息进行提取和降维，以及对分类/聚类模型进行学习优化等方式，为不完善数据的检测提供更准确的描述和更精确的决策结果。基于人工智能的信息融合方法凭借优异的性能在实际应用中占据了重要地位，其基本框架如图 1-12所示。

1）机器学习方法

作为一种具有强大数据计算和分类能力的技术，机器学习方法有望提高数据融合算法的整体性能，并在一些特定应用场景下具有更高的数据处理效率。目前，用于多源信息融合的机器学习方法主要包括支持向量机、k-近邻、随机森林、隐马尔可夫模型等，如图1-13所示。

2）卷积神经网络

卷积神经网络（Convolutional Neural Network，CNN）是一种灵感来自生物的自然视觉感知机制的深度学习架构。自2012年起，从图像处理到语音识别、自然语言处理等，CNN在多个领域中都取得了突破性的成果。一方面，CNN有效地降低了深度神经网络中的参数量，使得用扩张模型来解决更复杂任务成为可能；另一方面，在涉及时间序列决策的多源信息融合任务中，CNN具有局部依赖性和尺度不变性的特性，并优于其他机器学习方法。一个简单的CNN模型如图1-14所示。

近年来，CNN已经在众多的信息融合任务中取得了优异的成绩，如基于联邦学习的CNN故障诊断模型，能够允许不同的行业参与者在不共享本地数据的情况下，通过云服务器聚合参与者的本地模型来更新全局模型的方式进行同构的多源信息融合，从而完成对全局故障诊断模型的协作训练。得益于CNN强大的特征提取能力和编码能力，除了同构信息融合任务，CNN也非常契合于异构信息融合任务，从而在多模态信息融合应用中取得了丰硕的优异成果。

3）循环神经网络

循环神经网络（Recurrent Neural Network，RNN）适合处理时间序列数据，如音频和文本。RNN的隐藏层单元之间存在连接，允许信息从一个神经元传递到下一个神经元，从而使RNN可以提取时间关系。当输入序列过长时，RNN容易出现梯度消失。为了解决这个问题，人们引入门控机制，并提出了长短记忆（Long Short-Term Memory，LSTM）网络和门控循环单元（Gated Recurrent Unit，GRU）神经网络两种模型。当前，CNN与LSTM相结合进行特征提取的方法得到了广泛应用，如图1-15所示。

4）自注意力神经网络

自注意力神经网络（Transformer）是一种将注意力机制整合到深度前馈网络中的深度学习结构，它的单层结构由自注意力机制和前馈网络两个模块组成。其中，前馈网络可以近似地理解为一个带有归一化操作的残差模块；而对于输入特征，自注意力机制通过线性/非线性映射获取输入的查询、键和值三个特征，然后计算其自注意力的输出特征。自注意力神经网络模型结构如图1-16所示。自注意力神经网络能够像LSTM一样捕获长距离序列依赖关系，且具有更大的上下文窗口来处理更长的序列，也更容易并行化运算，具有高度可扩展性。随着视觉自注意力神经网络（Vision Transformer，ViT）将自注意力神经网络从以一维序列为主的文本、音频等数据，拓展到二维图像数据和三维视频数据，以及图像分类、目标检测、图像生成等领域优异成果的不断涌现，ViT正在成为一个火热的研究方向。自注意力神经网络在处理多模态数据时的强大分析与整合能力，使其成为一个强有力的信息处理与融合工具。

5）多视图学习

多视图数据是指从不同模态、来源、空间和其他形式捕获的具有相似高级语义的数据。用文本、视频、音频等不同的形式来描述的同一对象、报道同一事件时的不同语言、不同相机角度下的同一人体行为，以及同一社交图像所包含的视觉信息和用户标签等，都属于多视图数据。传统的机器学习算法将多视图数据拼接成单视图数据，以适应学习设置；但由于此类拼接不具备实际物理意义，且在小规模训练样本的情况下易导致过拟合现象，因而难以应对多视图数据的融合分析需求。近几十年，多视图数据已成为互联网上的主要数据类型之一，其数量在视频监控、娱乐媒体、社交网络和医疗检测等领域呈爆炸式增长态势。在此背景下，对多视图数据的多模态、跨模态信息处理、融合需求，推动着多视图学习飞速发展。多视图学习（Multi-View Learning，MVL）旨在通过组合多个不同的特征或数据源以基于共同的特征空间完成联合训练。目前主流的MVL方法是将多视图数据映射到一个公共特征空间，以最大化多个视图的相互一致性，其模型结构如图1-17所示。

当前，多视图学习技术正向多元化发展，借助卷积神经网络（CNN）、循环神经网络（RNN）以及自注意力神经网络等深度学习模型的优异特征提取和识别能力，在许多任务中取得了突破性的进展和优异的成果。此外，为应对大数据时代标签获取困难的挑战，多视图学习不断探索如何利用表示学习、嵌入学习、半监督学习、无监督学习等先进深度学习技术来满足实际应用需求的可行性。

6）迁移学习

尽管机器学习与深度学习方法在诸多领域中都取得了巨大的成功，但对某些场景仍存在一定的局限性。人工智能与模式识别方法的前提假设是训练和测试数据具有相同的分布，因此机器学习的理想场景是有大量带标签的训练实例，它们与测试数据具有相同的分布。然而，在许多情况下，收集足够的训练数据通常是昂贵的、耗时的，甚至是不切实际的。尽管半监督学习可以放宽对大量标记数据的需求，但在很多情况下，未标记的实例也难以收集，这使机器学习与深度学习模型无法有效工作。迁移学习旨在通过迁移不同但相关源域中包含的知识来提高模型在目标域上的表现，以减少构建目标学习对大量目标域数据的依赖，其模型结构如图1-18所示。在实际应用中，一个域通常由多个带有或不带有标签信息的实例来表示，目标域由许多未标记的实例和/或有限数量的标记实例组成。

根据领域之间的差异，迁移学习可分为两类，即同构迁移学习和异构迁移学习。在同构迁移学习中，域仅在边际分布上有所不同，从而可以通过校正样本选择偏差或协变量偏移来调整域。在异构迁移学习中，通过调整条件分布使域具有不同特征空间，除了分布适应，异构迁移学习还需要特征空间适应，这使其比同构迁移学习更为复杂。

1.1.2.5　多源信息融合的优势

在军事或民事等应用上，尤其是一些复杂的应用场景中，单一信息源难以提供全面和准确的信息，这可能会产生以下几个问题。

（1）信息缺失：单一信息源可能无法提供某些重要信息，从而导致信息的不完整性和缺失。

（2）信息错误：单一信息源可能会提供错误或误导性的信息，从而导致错误的判断和决策。

（3）信息过载：单一信息源可能会提供大量的信息，从而导致信息过载和难以处理。

因此，与多源信息融合相比，单一信息源存在明显的不足。多源信息融合可以整合来自多个信息源的信息，从而提供更准确和全面的信息。多源信息融合可以通过多个信息源之间的互补性来弥补单一信息源的劣势，从而提高信息的质量和可靠性。其主要优势如下。

（1）提高信息准确性：通过整合不同数据源中的信息，可以提高信息的准确性。当单一传感器或数据源可能存在误差或不完整的信息时，多源信息融合可以通过对数据进行分析和筛选，消除单一信息源可能存在的偏差和缺陷。

（2）提高信息完整性：多源信息融合可以提高信息的完整性，即可以获得更全面的信息。通过整合不同来源的信息，可以获取更多的角度和视角，从而得到更全面和综合的信息。

（3）提高信息可靠性：通过多源信息融合，可以得到更可靠的信息。当多个传感器和数据源的信息相互独立时，可以通过交叉验证和一致性检查来确认信息的可靠性。

（4）提高资源利用效率：多源信息融合可以通过提高信息的准确性和可靠性来减少资源的浪费。当信息更准确和可靠时，可以更好地指导资源的分配和利用，从而提高资源利用的效率。

（5）提高信息共享和协同的能力：多源信息融合可以为不同的组织和部门提供共享信息的机会。通过多源信息融合，可以促进不同组织和部门之间的信息共享和互通，避免信息孤岛和重复建设，提高信息资源的利用效率和综合效益。

（6）提高决策精度和增强决策效果：多源信息融合可以提供更全面、准确的信息，为决策者提供更多的信息来源和角度，从而提高决策精度和增强决策效果。

（7）提高预测和预警能力：多源信息融合可以整合不同类型的传感器信息，通过对信息进行分析和筛选，可以帮助预测和预警系统更准确地进行预测和预警，提高预测和预警的能力和精度。

（8）提高安全防范能力：多源信息融合可以整合不同类型的信息，如视频监控、传感器数据、社交网络信息等，可以帮助安全防范系统更好地监控和检测潜在的安全威胁，提高安全防范的能力。

（9）提高情报分析能力：多源信息融合可以提供更全面、准确和有用的情报信息，可以帮助情报分析人员更好地了解局势、分析威胁和制定应对策略，提高情报分析的能力和效率。

综上所述，多源信息融合具有提高信息准确性、完整性、可靠性，提高资源利用效率，提高信息共享和协同的能力，提高决策精度和增强决策效果，提高预测和预警能力，提高预测和预警能力，提高安全防范能力，提高情报分析能力等优势。

1.1.2.6　多源信息融合的应用领域

本节对多源信息融合不同应用领域进行了分析，并从谷歌上统计了多源信息融合在不同应用领域的发文量及占比，统计时间为2018年1月1日至2022 年12月31日，结果如图1-19所示。

可以看出，多源信息融合的应用主要分为军事应用和民事应用两大类，下面进行具体阐述。

1.军事应用

战场信息是动态且混乱的，在快速变化、不确定且信息泛滥的作战环境下，指挥人员难以凭借人力完成对原始信息的全面分析以进行战场态势评估，如分析、预判敌军的行为和意图。因此，基于多源信息融合的自动化信息处理方法，在现代战争系统中扮演着不可或缺的角色。

1）威胁检查

检测和阻止自杀式袭击或涉及简易爆炸装置的袭击一直是军方和其他团体的关注重点。通常使用扫描仪和其他设备、旅行记录、行为观察和情报来源等多种方式观察可疑人员。此类数据具有高复杂性，且通常容易出现定性的、主观的、模糊的情况，有时还存在自相矛盾，甚至具有欺骗性的信息。因此，在反恐、情报和执法等场景下，对具有不确定性的多源敏感信息进行融合以形成现实的、更具辨别力和收敛性的评估，是确保系统做出正确决策的有力保障。

2）地空观测

理论上，雷达可以检测任何类型的具有反射信号的飞行物，但对于一些隐形物体或飞行在雷达覆盖范围之外的物体而言，依靠单一雷达信号难以实现有效、全面、精准的地空观测，从而使得一些飞行目标可以在低空高速飞行，甚至具备了在短时间内投放致命武器的能力。当前，常见飞行器检测的地空观测方法已经取得一些进展，但仍存在自动化较低、通信延迟以及单一信源易受欺骗等问题，故而一些关键场所仍保留着人工目视的地空观测方式。对多个雷达信号进行融合能够有效地扩展雷达覆盖范围，从而获取更为全面的地空观测结果，而对雷达、多光谱、红外等异构多源信息的融合可以有效地避免单一信源易受欺骗。因此，基于多源信息融合的地空观测，成为保障国家领空安全的重要技术途径之一。

3）辅助认知

战场信息具有高混乱性和高时效性，指挥系统容易受到大量信息的轰炸，可能导致信息过载，从而影响系统快速有效地做出决策。因此，面向军事应用的自动化信息系统必须具有一个有效的界面客户端，将信息集中在当前任务上，从而减少人类操作员处理的信息量。然而，认知科学和认知工程领域的研究表明，人类必须是任何决策辅助设计过程中不可或缺的一部分，否则将导致人机之间的不信任，在机器发生故障时缺乏足够的准备，并最终导致整个系统性能下降。多源信息融合能够有效地解读大量战场信息，通过对其的合理组合、展示，帮助人类操作员在高压环境下快速理解当前态势，并通过信息的高效呈现形式，帮助操作员做出决定，同时避免系统为操作员做出决定而引起人机信任危机。典型军事辅助认知的应用场景是基于多源图像融合的飞行员战斗目标识别。

4）遥感和导航

基于多源信息融合的目标跟踪是自主机器人、军事应用和移动系统等领域的重要技术途径和目标任务。多源信息融合有助于收集更准确的跟踪信息，如在质量测量场景下使用多源信息融合改善跟踪数据，完成跟踪监测驾驶员当前状态信息与人类动作序列跟踪预测等任务。

5）士兵状态监测

一个强大的军事传感系统应该以多源融合的方式处理原始数据，包括分类、跟踪、决策、预测和优化。士兵作为物联网的重要组成部分，是战场上最灵活的信息节点，集成到士兵装备中的异构传感器为指挥中心提供了多维战场信息。同时，作为一个相互依存、相互关联的实体群体，士兵们能利用可穿戴传感网络不断地沟通与协调，以共同制订计划和执行任务。可穿戴传感网络是军用智能设备的基本要素，具有信息弹性的传感模块，能在严格的资源约束下收集战场信息，并通过与设备中集成的其他模块配合实现数据传输和分析。作为现代物联网的组成部分之一，可穿戴传感网络可以实现人与物之间的信息交换，从而对人体和周围环境进行监测、分析和控制。

6）特定发射器识别

特定发射器识别的主要任务是识别雷达发射源。然而，由于存在许多不同发射器信号的相互耦合，无论是在军事现场还是在民用现场电磁环境都十分复杂，并且来自同一发射器的信号也会因相互干扰而变得难以测量，因此，如何从采集到的信号中区分出正确信息并得到合理结果是一个难题。多源信息融合一直是实现特定发射器识别的重要技术途径，基于D-S证据理论的量子力学方法，在对多源信息进行融合的同时，还考虑了雷达本身的工作性能，以模拟识别结果的可靠性。文献[19]在此基础上进一步融合了时空域信息，从而在多源信息融合过程中结合相关系数衡量的证据与雷达自身性能的影响之间的相互关系，充分考虑了时间因素对融合结果的影响，使结果更加可靠。

2.民事应用

1）人体行为识别

在智能家居环境中的行为分析、环境辅助生活和自主监测等领域，人体行为识别具有重大的实用价值和研究意义。人体行为识别在一些场景下还需要实现对人体生理信号的检测识别，具有和相关医学诊断实时交互的可能性，从而使个人能够检测自己的健康状况，以实现早发现、早预防、早治疗的目标。早期的人体行为识别研究主要集中在使用单模态传感器、单传感器特征和分类器方面。虽然这些检测方法较为简单，但有时无法有效区分复杂的活动细节，且单个传感器数据容易受到数据不确定性和间接数据采集的影响。在人体行为识别任务中，采取对多个同质的或异质的弱分类器进行组合的方式可以提高分类器的鲁棒性、准确性和泛化性，并通过融合不同分类模型生成的输出来减少不确定性和歧义，以取得单独使用分类器时难以实现的更高性能。

2）股价预测

传统股价预测方法通常使用历史股票数据集来预测股票价格变动，然而这却忽视了互联网、数据库、聊天、电子邮件和社交网站等其他来源的丰富信息，从而使预测结果难以令人满意。与股票相关的信息可以分为两类，即定量的数值数据和定性的文本数据。定量的数值数据包括历史股价数据和经济数据，分析师通常会基于这些数据预测股价走势。而定量的股票市场数据无法传达有关公司财务状况的完整信息，如公司的经济状况、董事会、员工、财务状况、资产负债表、公司的年度收入报告、区域和政治数据、气候情况（如非自然灾害或自然灾害）等信息都包含在文本描述中，属于定性的文本数据。此外，股票市场信息是多层次且相互关联的，相比于传统的预测方法，通过对多源相关信息的综合分析，能获得影响股价走势所有因素的全局视图，从而做出最佳投资决策。因此，多源信息融合成为实现更高精度股价预测的关键技术和重要保障。

3）智慧医疗

慢性病数量的增加以及满足患者护理需求的医疗服务短缺，增加了医疗保健行业对创新的需求。不同的医学信号传达人类生理学不同方面的不同特征（例如，心率时间序列的低频和高频分量分别传达有关副交感神经和交感神经调节的信息），因此它们的融合可以提供比单一信号源更为稳健和可靠的监测结果。依靠单一模态信号难以区分许多疾病和症状，而多源信息融合技术使智慧医疗系统不仅可以分析人体不同模态的生理信息（如心电图、血压、动脉血压、声门图、脑电图、眼电图、肌电图、机械肌图、脑磁图、光电容积描记图等），还可以进行缺失数据插补、质量感知融合和改进感知体验。因此开展对多源信息融合方法的研究，成为构建智慧医疗系统的必由之路。

4）联网车辆

随着联网设备在交通、驾驶等领域的普及，基于联网设备的智能驾驶可以辅助用户避开障碍物和降低道路风险，使驾驶体验更加愉悦。联网车辆拥有自己的互联网，可与周围的其他设备共享数据，这使连接在集中式或分布式网络中的车辆可以共享感官信息。通过将从车载传感器接收的信息与来自相邻车辆的信息进行多源融合，联网车辆可以实现更准确、更全面的态势感知，从而为智能驾驶提供更准确的定位，避免出现灾难性后果。