1.4.3 数据融合技术

大数据ETL是无线传感器网络大数据的价值提炼。随着云计算、大数据、人工智能等新兴技术的快速发展与应用，互联网、物联网、移动互联网、车联网等方面信息技术的快速发展，越来越多的数据已经、正在和将要被产生，整个社会正在加速进入大数据的时代。对各级运营商来说，大数据逐步成为企业的财富，成为一种重要的战略资源[49]。当前，各式各样的数据因为一些历史和现实因素一般都存在于一个个独立的信息系统中，相互之间缺少统一的接口，数据结构差异巨大，即使同一类数据，在不同信息系统中的结构和存储方式也不尽相同。如何将这些相同对象或互有关联的、数据结构有差异的分布式异构数据源合理地集成在一起，让用户不用去考虑不同的信息系统的数据在内容和结构上的差异，以透明、统一、便捷的方式访问这些数据，从而充分挖掘大数据信息，获得数据的价值，是当前各运营商急需解决的关键问题。针对该问题，文献[49]提出了数据抽取（Extract）、转换（Transform）和加载（Load）的概念，也就是ETL的概念。ETL是各种数据分析的数据源获取优质数据的最为重要的步骤[50]。通过ETL技术可以把分散在不同地域、不同行业、不同系统中针对同一或类似对象的不同种类、不同形式、不同结构、不同精度的相关数据进行提取、清洗、转换和加载，继而为后续的在线分析（OLAP）、商业智能（BI）、大数据分析等具体应用提供基础的优质数据。

信息作为当前企业的关键资源之一，是企业运用科学的管理方法、先进的信息处理系统，进行科学决策分析的基础。现在，很多企业花费大量的人力、物力和时间资源来构建各种业务系统和管理系统，从而及时记录各种活动中的各种相关数据。美国市场调查公司IDC公司进行的一项研究预计，全球数据总量增长将主要源于嵌入服饰、各种媒体设备和建筑物内的各种传感器逐渐增多，此外，文档、电子邮件、视频和图片等非结构化信息约占未来十年数据产生量的90%以上。这些数据蕴含着巨大的商业价值，通过对这些数据的挖掘利用，企业能够快速、准确地把握市场，抢占商机。然而对现有的绝大多数企业而言，其所关注的数据信息只占其中极少一部分，根据统计一般只能占总数据量的2%～4%。从这个数值可以看出，企业对现有数据的利用率是非常低的，根本没有进行充分利用，更没有向数据要价值，也就失去了在瞬息万变的市场经济浪潮中及时、准确地制定关键商业决策的最佳时机。从这一点来说，企业如何运用各种技术手段对这些数据进行各种分析、挖掘，并把经过各种数据处理和解析的结果转换为用户感兴趣的信息、知识和预测，从而充分挖掘出这些数据中的潜在价值，已经成为提升企业核心竞争力、挖掘企业潜在发展机遇、预警企业发展瓶颈的主要途径和手段。相应地，ETL自然地成为重要的一个技术解决方案[51]。

许多应用中的无线传感器网络中的数据量已经达到或超过了PB级，这么巨大的数据量已经远远超越了以前传统无线传感器网络的计算和传输能力；同时，这些海量传感器数据存在着高度冗余现象。在同时考虑能耗与效率的情况下，文献[52]对传感器数据的核心数据集的提取进行了研究。