面向云平台的物联网多源异构信息融合方法
上QQ阅读APP看书,第一时间看更新

前言

多源异构数据资源的集成和融合为管理决策提供更加完整和可靠的数据服务,是当前及未来深化信息系统建设的重要课题和研究方向。从各种分布、异构数据源中抽取数据,并进行数据变换、合并和融合,是数据集成和数据融合的一项最基本的任务。

无论是数据集成中的大数据处理,还是知识库中知识的管理,都需要以高效的计算能力为基础。云计算作为一个新型的面向服务的计算模式,具有资源高扩展、强大的计算和存储能力等特点。云计算平台可将资源虚拟化,并进行有效且动态的资源划分以及分配。正是由于它快速灵活的特性,使得企业在信息化过程中的成本大大降低。为此,本文基于云计算的IaaS、PaaS以及SaaS的三层基础框架的思想来构建和部署信息融合系统。

物联网作为未来互联网的一个重要组成部分,它的任务是实现万事万物的广泛互联和感知,即普适性。由于普适性特征,使得物联网数据具有以下特点:①海量性。由于物联网是以时间为特征的数据流的方式传递手机数据信息,随着时间的推移,数据流以指数形式增长。②异构性。由于物联网多种类型感知设备的互联与信息交换,使得物联网内大量异构数据存在。③实时性。由于物联网是以时间为特征对客观事物及其变化进行观测,对数据有时间维度要求。④分布式。物联网中,各级感知设备对其相应的数据中心进行数据存储和维护管理。

信息融合是实现完整的、准确的、实时的和有效的综合信息处理的策略和方法。面向云平台的物联网多源异构信息融合是一个包含理论、方法和算法的完整框架,对多感知设备和相关知识信息进行合并与挖掘,综合分析与推理抽象,从而能够得到更高质量的信息。信息融合研究集中在信息融合体系结构和数据集成融合算法上。信息融合体系结构是针对数据信息特点从整体上定制数据信息融合的流程,具有全局指导作用。数据集成融合算法是在保证一定数据质量的情况下,基于数据模型对数据的化简、融合、推理和计算。

本书在以下三个方面开展相关研究:

(1)研究了在云计算环境下,基础环境的构建以及服务的部署;主要研究基于Openstack Mitaka的公有云的搭建方案。所搭建的公有云是基于实验虚拟出的一种公有云形式。真正的公有云是在互联网环境下,用户不需要任何软件,直接通过网络、Web浏览器获取的一种服务。

(2)对异构数据源查询、集成及融合技术进行了综合研究和分析,在此基础上,提出了基于本体的多源异构信息融合体系结构,给出了面向云计算平台的多源异构信息集成及数据融合架构。该架构是对适应云平台特点的信息融合过程的全局性的诠释,具有重要的指导作用。把多源信息融合整体架构分为四个阶段:采集原始数据、数据抽象、数据集成与融合、特征抽象。详细阐述了各个阶段的流程及所起到的作用。

(3)研究基于MapReduce数据集成及数据融合总体架构,对架构中的主要几个模块做了重点分析。针对元数据信息存在的异构性问题提出了异构冲突解决方法,并将该方法运用到建立虚拟数据库的过程中,定义了用户统一信息查询的元数据信息虚拟数据库及面向虚拟数据库的相似结构化查询语言;分析了系统架构中解析器视图分析及任务分配过程;分析了执行器模块MapReduce执行过程、管理过程及连接过程。最后实现了数据采集及数据融合架构的原型系统,并对部分实现的系统结构进行了测试。实验结果表明,该架构模型能够在较短的时间内处理多数据源海量数据,为用户请求提供完整信息。

本专著由以下项目资助:

(1)物联网多源异构信息融合关键技术研究(河南省科技厅项目,项目编号:172102210105)

(2)云环境下面向大数据分析应用的任务调度技术研究(河南省科技厅项目,项目编号:182102210224)

(3)面向物联网的无线传感器网络关键技术研究(河南省教育厅项目,项目编号:17A520024)

(4)基于城乡规划大数据的多规融合技术研究(河南省教育厅项目,项目编号:18B520007)

(5)建筑信息云服务平台下的大数据智能处理研究(平顶山市科技局项目,项目编号:2017009(9.4))