Spark机器学习进阶实战
上QQ阅读APP看书,第一时间看更新

2.1 数据分析概述

随着商业智能(Business Intelligence, BI)的发展,实现数据的商业价值,并通过数据驱动企业的商业化、信息化建设显得越来越重要,为了获得更好的数据分析结果,在实践中抽象了分析数据的方法和流程,这就是数据分析(Data Analysis, DA)。

传统的数据分析是指用适当的统计分析方法对收集来的大量数据进行分析、提取有用信息并形成结论,而对数据加以详细研究和概括总结的过程,是数据价值挖掘的基础。随着数据分析的发展,数据分析扩展成一个包含数据预处理、特征处理和数据建模,使用机器学习方法进行数据挖掘的过程。

数据分析以分析为骨骼、数据为血肉,按照一定的方法有理有据组织结论,数据分析架构如图2-1所示,数据分析流程以调研为起点,以结论为终点,以方法为支撑,围绕数据进行分析。

图2-1 数据分析架构

数据分析的基本方法以统计为主,只有熟悉业务,经过合理的数据分析,才能提供有价值的分析结论和建议。数据分析重调研、轻方法,调研要亲临一线去询问、了解实际情况,切忌数据空想,数据分析要言之有物,行之有效。