大数据平台异常检测分析系统的若干关键技术研究
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

3.8 本章小结

本章首先介绍了一种基于数据属性和分类性能的二重概念漂移检测机制,接着给出了基于K-means聚类的概念漂移检测算法和基于伯努利分布的概念漂移检测算法,这两种检测算法分别可以从数据属性和分类性能两个方面进行概念漂移检测。在此基础上,又介绍了引入增量学习思想的支持向量机模型,提出了一种基于二重检测的概念漂移数据流分类算法TDD-ISVM,该算法可以有效地检测不同类型的概念漂移,并根据不同情况采取不同的应对措施,对数据流有较强的适应能力,并且该算法也具有抗噪性,可以在一定程度上检测噪声数据。还介绍了三种概念漂移检测常用的数据集,包括两种人工数据集和一种真实数据集。最后给出了实验的具体结果,并对结果进行分析,验证了本章所提算法具有良好的效果。