大数据技术入门
上QQ阅读APP看书,第一时间看更新

1.8 大数据产业链分析

大数据不仅是一个热门词汇,更代表着一个欣欣向荣的产业。2015年8月,国务院常务会议通过了《关于促进大数据发展的行动纲要》,纲要从国家大数据发展战略全局的高度,提出了我国大数据发展的顶层设计,将大数据定为驱动经济增长和社会进步的重要基础国家战略资源。中国的大数据产业是一片广阔的蓝海,从与每个人密不可分的健康医疗到金融个人征信,正融入社会经济发展的方方面面。据分析预测,大数据应用将在国内十多个领域有很大的发展,涵盖万亿市场。最精炼的总结正如马云所提出来的——“未来最重要的能源不是石油,而是数据”。并且,大数据产业的核心是推动数据资源共享与开放,单一的公司是很难发展的,因为在数据领域里面单一公司所需要获得的数据是需要大量的公司去提供。通过大数据资源的开放共享,才能更好地推动大众创业、万众创新。此外,作为云计算、大数据基础的数据中心耗能巨大,绿色数据中心技术将成为全球数据产业的生命线。

各地都在布局大数据产业。比如,2014年武汉市政府出台《武汉市大数据产业发展行动计划(2014—2018年)》,通过构建“2+7+N”的大数据产业发展格局,以“中国•武汉光谷”为核心,全面推进武汉市大数据产业发展战略,重点发展左岭大数据产业园等多个产业基地,形成丰富的大数据资源聚集地和完善的产业链,建成国内领先、国际知名的大数据产业和数据资源聚集“洼地”。到2018年,实现武汉市大数据产业产值规模2000亿元,带动相关产业新增销售收入过万亿元,大数据成为武汉市经济社会发展的新引擎。

1.8.1 技术分析

从技术实施的层次上,我们把整个大数据产业链(或大数据市场)分为以下四个层面,如图1-4所示。

图1-4 大数据产业链

最底层是同硬件相关的基础设施层。最上层是同行业相关的大数据应用层,它需要行业的专业知识,使用大数据技术来实施。在有些研究机构中,中间的两层被认为是一层。我们认为,基础软件平台完成数据的汇聚,形成企业的大数据管理层(国外也有人把它叫做数据湖,Data Lake)。在实施了这一层之后,企业或政府单位的数据已经在一个统一平台上了,完成了“数据即服务”的基础平台,实现了全域的数据层。打个生活中做饭的比方,我们已经把油盐酱醋、蔬菜肉类鱼类等食材和调料,都放在冰箱里了。延续上面的比方,那么,大数据分析工具就是做饭的菜刀、锅、搅拌器等等工具。工具的好坏,决定了数据处理和挖掘的效率和结果。大数据分析工具市场是一个竞争化的市场,既有一些新创立的小企业的参与,也有一些类似于谷歌、微软、IBM等的行业龙头的参与。大数据分析工具的需求是否还会一直持续下去,是否会进入一个成熟阶段是值得我们观察的。

从2015年的下半年开始,随着数据的积累,大数据的逐渐深入,越来越多的行业客户(如:银行、政府相关职能部门)清楚了大数据的价值,也清楚了大数据适用的边界。我们已经明显感觉市场在逐渐成熟,开始有正规的独立大数据项目开始招标了,这意味着行业客户已经成熟。随着明确稳定的需求的出现,整个大数据的商业模型就越来越清晰,大数据市场进入了一个新的阶段。

1.8.2 角色分析

整个大数据产业链,可以分成这样四种角色:数据提供商,算法提供商,数据优化提供商和应用提供商。

1.数据提供商

一般都是由于拥有某种入口资源(比如:运营商、电商等),经过了数年,甚至十数年的积累,形成了在某一领域、某一行业独特的数据资源优势。数据提供商可以将数据提供给第三方使用,从而将资源优势转化成实际的收益。由于分工的细化,数据提供商未必自己去做产业链的其他角色。当然,随着数据成本的日益增高,数据将越来越汇聚到几家巨头手里,而形成几家数据寡头为中心,数家各领域各行业垄断企业为补充的格局。

数据提供商领域依旧属于市场初期。目前没有任何一家数据提供商可以提供所有维度的数据,每家都只拥有部分数据。现在最时髦的各家的“用户画像”也只是盲人摸象。距离真相,还有一定的距离。一些大数据企业寻找定位某一个行业,苦练内功,成为该行业的大数据的应用服务提供商。从而间接地成为数据提供商(因为数据还是属于购买其应用的客户,所以还是替客户操办的数据提供商)。

2.算法提供商

这些企业虽然没有数据,但具有行业丰富的经验和背景,可以为客户提供很好的算法服务。目前在各个行业都有一些独立的第三方算法服务提供商。算法提供商将会随着行业应用的深化不断地强化自身在行业的优势,对后来者筑起壁垒。而且,随着在行业经验的积累,算法提供商是最容易成为应用服务提供商的,也可能会被应用服务提供商所取代,不会以单独的形式存在。随着行业应用的深入,每个行业逐渐也会形成几家独大的格局。由算法提供商演变的应用提供商势必会给后来的单纯算法提供商造成很大的壁垒。所以,单纯的算法提供商在未来几年内可能会逐渐淡出。

3.数据优化提供商

这一角色也没有数据,它需要从数据提供方买来数据(或者由需求方提供数据),然后按照需求方的要求,将数据整理、优化,交付给甲方。至于甲方如何来使用,它并不介入。数据优化提供商既没有足够的数据资源,又没有算法提供商强大的算法和行业洞察能力,所以只能做些低附加值的技术劳务输出。虽然数据优化服务提供商低端,但在整个的产业链里还不容易被取代。随着产业链的日益成熟、分工的日益细化,数据优化服务提供商可能作为一个环节独立存在,而不是作为数据提供商的一环。这一角色,需要精通各种大数据的模型、算法,也需要了解不同数据的特点,从而可以根据用户的需求,为用户“优化”出符合他们需求的数据。

4.应用提供商

这一角色又叫解决方案提供商,是离客户最近的一个环节,也是最能体现价值的一个环节。对客户而言,他并不关心大数据到底有多大,数据是否足够优化,算法是否足够科学。他关心的是,能否为他解决实际的问题。从这一点上来看,应用提供商颇似一个系统集成商。它需要根据用户的实际需求,去判断需要准备什么样的数据,需要采用什么样的算法,需要将数据如何优化,以便达到最优的效果,帮助客户解决什么样的实际问题。应用提供商需要清楚地知道哪些是大数据能做到的,哪些是大数据做不到的。大数据不是万能的,他需要懂得约束客户的需求和预期。

按照上节中的技术分析,应用提供商可按照技术层次细分为多个角色。应用提供商是大数据市场最关键的角色。数据终究是原材料,能否做出一桌好菜,还要看厨师的手艺。对行业的洞察力和经验,就是对火候的掌握,就是厨师的手艺。

大数据不但有用,而且确确实实可以赚钱。数据作为未来企业的战略资源,的确有着毋庸置疑的重要性,但不至于没有数据,就寸步难行,还没到那种“得数据者得天下”的地步。

上面将整个大数据产业链划分成了四种角色。要想在大数据市场上立足,需要先明白自己属于哪个角色。清楚了自己的身份,清楚自己在产业链的位置。继而沿着自己既定的发展方向坚定不移地走下去。接下来要做的就是积累,不断地积累和优化,不断地进步,争取做到各自领域的领头羊。想在大数据市场上谋有一席之地,最终靠的还是实力。

今天大数据公司应该做的就是两件事:数据和能力。对于一个大数据公司,你要么有数据,要么有管理和处理数据的能力。没有数据这个生产材料,肯定无法做大数据运营;如果没有足够的驾驭数据的能力,做不出客户满意的效果,也终将会被市场所淘汰。2016年,将会是大数据领域重要的一年,很有可能将迎来多年我们企盼的拐点的到来。而2016年也将是各路诸侯确立自己江湖地位的一年,可以预见,2016之后,再无大的格局之战!

1.8.3 大数据运营

随着大数据概念的提出,大数据运营公司也犹如雨后春笋般出现。大数据运营貌似很容易,我们只需要:

(1)一套大数据工具

(2)一个或多个分析算法

(3)海量的数据

那么,对于大数据运营公司,该如何找到数据呢?通常有以下几个方面:

●相信开放数据

不论现在或是将来,这些企业相信开放数据,等待着政府开放更多的数据。这个方法的主要缺点是数据的开放范围往往有限。

●自己寻找数据

通过网络爬虫等工具来捕获数据。这个方法的主要缺点是,也许那些客户真正感兴趣的数据并不在这个网上。

●在大企业中寻找数据

首先,他提出一个问题的可能的解决方案(例如,减少欺诈行为,提高你的广告购买的投入,增加你的邮件营销途径,采购性价比更好的原材料,等等);接着,他说服一个企业来提供数据,并为客户实际解决一个有价值的大数据问题。

●购买数据

比如:通过大数据交易所购买数据。