1.1.2　大数据——赋予人类预见未来的能力

数据是智能时代的生产力。谁掌握了数据，谁就掌握了智能时代的竞争优势和先机。通过我们手中的智能手机，以及我们与智能设备的每一次互动，我们每一个人每时每刻都在产生大量的数据。与此同时，我们也是这些海量数据的消费者——从学习、工作、社交、消费、娱乐乃至与远方家人的互动，毫不夸张地说，现代人们生活的大部分场景都离不开数据。从字面上来看，大数据是指传统数据处理方式下，常规计算机数据处理应用软件难以处理的大量、产生迅速、复杂及非结构化的数据。大数据的概念在20世纪80年代被提出，经过40多年的发展，其涵盖的范围不断扩展，其应用场景远远超出了20世纪末所能预见的范围。

大数据技术的成功应用有以下3个关键点。

1．有效产生并获取数据

随着IoT、传感器等技术和设备的广泛使用，数据的捕捉变得更加容易，以前难以用数字技术处理的事务几乎都在这短短十几年间完成了数字化转型。这也导致人类生成和掌握的数据量呈指数级增长。IDC的调查显示，2020年全球新生成的数据量已达64ZB（1ZB=270 B），预计2025年将达到175ZB。不能有效产生及获取这些数据，大数据技术的成功就无从谈起。

2．寻找数据关联性并发现规律

需要注意的是，人们在生产海量数据的同时，只有很少一部分数据（大约1/10）被存储下来，而能够产生实际价值的数据就更少了。在获取数据的同时，人们开始思考源源不断涌来的海量数据到底能带给我们什么，并通过不断挖掘大数据和拓展大数据的应用来寻找答案。在这个过程中，许多大数据应用场景被发掘出来。从海量数据中找到数据的关联性，发现其规律，方能挖掘数据的应用价值。下面介绍几个例子。

营销是大数据技术应用的一个典型场景。各大电商平台、品牌商和零售商都试图通过对消费者进行大数据分析，向他们推销更多的产品和服务。这些只是大数据技术应用的一个简单场景。更进一步，大数据技术可以在貌似杂乱无章的“数据海洋”中摸索出规律和线索，并由此洞察未来发展，最终指引我们做出最佳的决策。知名的在线付费视频提供商Netflix公司，在分析、对比大量的观众观影习惯数据后，发现了一个有趣的巧合：喜欢看1990年电视剧版《纸牌屋》的观众中许多是知名导演戴维·芬彻（David Fincher）的粉丝，同时，他们还是“奥斯卡影帝”凯文·斯佩西（Kevin Spacey）的忠实影迷。Netflix公司预见，将这些要素整合在一起一定会获得成功，故决定请戴维·芬彻来新拍《纸牌屋》，凯文·斯佩西来主演，最终成就了这部荣获多项大奖的热播电视剧。再举一个例子，也许你听说过营销界非常经典的“啤酒+尿不湿”的案例。这个案例中，超市经理并不需要知道顾客的个人信息，只是通过对大量销售数据的分析，就发掘出在“奶爸”们来给宝宝购买尿不湿时，会顺便给自己购买几听啤酒的规律。接下来，就可以把尿不湿和啤酒搭配销售，最终提升超市的销售收入。

在营销之外，大数据在工业生产中也发挥着重要的作用，在生产效率的提升和生产质量的提升两个方面表现得尤为典型。以半导体行业为例，它是一个数据高度密集的行业。从集成电路（Integrated Circuit，IC）设计、制造到封测，每一个成品芯片都要经历成百上千道工序，而每一道工序都会产生大量的数据。这些工序和数据往往由不同的专业公司来负责完成。大数据在半导体生产中最重要的应用之一是提升良率。一个百分点的良率提升就可以为一家顶级半导体厂商带来每年超过一亿美元的利润。而上述每一道工序出现的问题都可能影响最后的良率。如何有效整合各工序的数据并对其进行分析，至今仍是半导体行业研究的重点。

大数据技术的应用已经为几乎所有的领域带来了积极的改变。在金融服务领域，银行经过对大量交易数据、客户数据、资产数据、信用数据的多维度分析，可以发现数据背后隐藏的风险，从而提前做出防控。在医药研发领域，科学家们利用大数据不断深化对疾病的认知，实现对临床试验结果快速、准确的评估，由此提升药物研发的效率。在能源领域，越来越多的工业园区开始利用大数据了解园区内的能源供需，并通过对数据的深入分析，不断提升综合能源管理和规划能力。随着大数据技术的日益成熟、技术商业化进程的加速，一种全新的以数据为关键要素的经济形态——数字经济应运而生，它为全球经济的发展注入了新的活力，为人们带来了由数据驱动的全新体验。

3．优化数据治理和用户体验

没有规矩，不成方圆。新科技的应用也是如此。大数据的广泛应用给政府、企业以及消费者都带来了挑战。前面提到，谁掌握了数据，谁就掌握了智能时代的竞争优势和先机，这仅仅是从商业层面而言的。在国家层面，数据更蕴含着安全、发展及治理方面的含义。包括我国在内的许多国家和地区，近年来都制定了数据治理的相关法律法规。其中，欧盟的《通用数据保护条例》（General Data Protection Regulation, GDPR）于2016年颁布，它为个人争取回了对个人资料和数据的控制权。这一法规不仅规范了欧盟成员国的个人和企业，还规范了欧盟供应商及雇用欧盟成员国的个人作为员工的企业，以及政府机构、非政府组织（Non-Governmental Organization，NGO）的行为。我国也于2021年下半年出台了一系列有关数据治理的法律法规，如《中华人民共和国个人信息保护法》《中华人民共和国数据安全法》等。在与国际法律法规接轨的同时，我国更重视数据安全及数据跨境传输的管理。这一系列法律法规的颁布和实施，为大数据应用提供了规范要求。大数据技术的应用在过去20多年得到了飞速发展，由于没有法律法规对其进行约束，一些掌握了大量数据的企业对数据的使用逐步超过了合理的范围和情形。因此，这一系列法律法规对现阶段我国企业的大数据技术的规范应用是十分及时和重要的。

如果说大数据相关法律法规是规范管理大数据应用的外因，那么提升用户使用大数据的体验则是企业规范管理大数据应用的内生动力。即使得到用户授权，也必须防止对用户数据的滥用。以大数据营销为例，不以用户体验为先的大数据营销行为，反而会事与愿违。10多年前，笔者访问了国内的一家互联网公司，对该公司当时已经做得十分深入的大数据使用内部管理机制印象深刻。除了常见的用户画像之外，该公司还仔细研究了用户在各个渠道（包括网站、移动端、邮箱、游戏等）接收和阅读信息的偏好，并根据不同渠道的特点对公司内部的各部门制定了严格的规则。

以法律法规为框架，以市场化来驱动，两者相辅相成，可以确保大数据应用有序发展，不会脱离正轨。