陷阱
在DeepMind成立几年后，我曾制作过一组幻灯片，旨在探讨人工智能可能带来的长期经济和社会影响。在加州西海岸一个充满现代感的会议室里，我向十几位科技界最具影响力的创始人、CEO和技术专家展示了这些内容。我指出，人工智能带来了一系列的威胁，我们必须积极应对。它有可能会引发大规模的隐私侵犯，或导致错误信息泛滥的信息末日危机。此外，人工智能还有可能用于军事领域，制造出一系列致命的新型网络武器，给我们这个高度网络化的世界带来新的安全威胁。
我还强调了人工智能可能带来的大规模失业风险。我引导在场的人回顾了自动化和机械化逐步取代人力的历史进程。最初，只是出现了能更高效地完成某些特定任务的手段，随后整个劳动力角色变得不再必要，而后很快，整个行业所需的工人数量就会大大减少。我认为，在未来几十年里，人工智能系统将以类似的方式取代脑力劳动，并且这一过程很可能发生在机器人取代体力劳动之前。过去，随着旧工作岗位的消失，新工作机会将随之出现。然而，假如人工智能真的能够胜任大多数工作，情况又会如何？这种即将到来的新型集中化力量几乎前所未有。尽管看似遥远，但其潜在的严重威胁正在迅速逼近我们的社会。
在幻灯片的最后，我展示了一幅出自动画片《辛普森一家》的画面。在这个场景中，斯普林菲尔德的居民起义反抗，我们熟悉的角色们手持棍棒和火把冲向前方。场景所传达的信息很清晰，但我还是在幻灯片上明确地写了下来：干草叉就要来了。它们朝着我们这些技术创造者而来，而我们有责任确保未来不会变成这样。
我环顾桌子四周，只有一片茫然的目光。房间里没有人被触动，我的信息没有引起共鸣。反驳的声音却接踵而至。他们质疑，为何经济指标并未显示出任何支持我的论点的迹象？他们认为，人工智能会激发新的需求，从而创造新的岗位；它将提升人的能力，使人更具生产力。或许确实存在一些风险，但这并不像我所描述的那么严重；人类是聪明的，总能找到解决问题的方法。他们认为没什么可担心的，并示意该进行下一个演示了。
几年后，在新冠疫情暴发之前，我参加了一场在一所知名大学举办的技术风险研讨会。会议场景似曾相识：同样宽大的会议桌，同样是一场富有远见的讨论。在一整天的会议中，伴随着咖啡、饼干以及幻灯片展示，一系列令人感到恐惧的风险在会议桌上提出来。
其中一种风险格外令人关注。演讲者展示了可打印定制DNA（脱氧核糖核酸）链的DNA合成器的成本是如何迅速下降的。这些合成器仅需几万美元便可购置，小巧便捷，放在车库的工作台上就可以帮助人们合成（也就是制造）DNA。1如今，任何在生物学方面达到研究生水平或热衷于在线自学的人都有可能做到这一点。
在这种工具日益普及的背景下，演讲者描绘了一个可怕的情景：很快就可能有人制造出比自然界中的任何病原体都更具传染性和致命性的新型病原体。这些合成病原体可以规避人类已知的对策，以无症状方式传播，或具有对抗治疗的内置能力。如果需要，一个人就可以通过网上订购和在家中重组DNA的方式来完成自制实验。邮购下单，末日便可降临。
演讲者是一位备受尊敬的拥有20多年专业经验的教授。他强调，这并非科幻小说的情节，而是真实存在的风险。在报告的结尾部分，他提出了一个令人不寒而栗的想法：如今，一个人很可能“具备杀死10亿人的能力”，所需的仅仅是一个动机。
与会者显得坐立不安，他们扭动身体，不时地咳嗽几声。随后，大家开始抱怨，避重就轻。没人愿意相信这样的可能性。他们认为，肯定有有效的控制机制，制造那样的疾病绝非易事，数据库肯定可以封锁，硬件安全肯定可以得到保障，等等。
与会者的集体反应远不仅仅是不以为意。他们从根本上拒绝接受演讲者所描述的情景。没有人愿意正视那些严峻的事实、冰冷的概率及其背后的含义。我选择了沉默，但内心的不安难以掩饰。研讨会匆匆结束。当晚，我们像往常一样外出用餐、交谈。在结束了讨论世界末日的一天之后，我们还能享受比萨，还能谈论笑话，还将回到办公室继续工作。大伙儿认为，事情总会有转机，或者那场可怕的讨论一定是弄错了什么。我也随波逐流。
然而，在接下来的几个月里，那场演讲一直萦绕在我脑海中。为什么我们当时没有更认真地对待它？为什么我们尴尬地回避了进一步的讨论？为什么有些人会变得如此尖锐，指责提出那些危机问题的人，说他们小题大做或“忽视了技术的惊人好处”？我将这种我观察到的普遍的情感反应称为“悲观规避陷阱”，即当你过于害怕面对潜在的黑暗现实时，你就容易产生错误的分析和判断，并倾向于从另一个看似安全的角度来看待问题。
几乎每个人都多多少少有过这样的反应，这导致我们忽视了一系列正在我们眼前展开的重大趋势。这几乎是一种与生俱来的本能反应。我们的物种并没有天然地准备好应对如此大规模的变革，更不用说应对技术可能让我们失望的可能性。在我整个职业生涯中，我不断经历这种心理感受，也观察到许多其他人有同样的本能反应。我写作本书的目的之一便是直面这种感受。我们需要冷静客观地看待事实，无论它们多么令人不适。
要妥善应对这场浪潮，遏制技术，并确保技术始终服务于人类，我们就需要克服悲观规避心态，直面即将到来的现实。
我希望通过本书达到这一目标。具体而言，我要承认浪潮将至并阐明浪潮的轨迹；探讨遏制是否具有可能性；将事物置于历史语境下，从人们对技术的日常喧嚣讨论中抽离出来，以看到更广阔的画面。我的目标是直面困境，理解驱动科技发展的基本过程。我希望最大限度地向尽可能广泛的读者清晰地呈现这些观点。我以开放和探究的精神写作：基于观察，从观察中追溯其含义和影响，但也对反驳的观点和更优的解读持开放态度。如果有人能证明我的观点是错误的，或证明技术遏制实际上容易实现，那我会感到无比高兴。
作为两家人工智能公司的创始人，我可以理解有些人可能期待像我这样的人能写一本更乐观、更偏向技术乌托邦的书。作为技术专家和企业家，我本质上是个乐观主义者。回想起少年时，我第一次在Packard Bell 486电脑上安装Netscape（网景）浏览器的场景，那种着迷的感觉我至今记忆犹新。嗡嗡作响的风扇，56千位每秒拨号调制解调器在连接到万维网时发出的噪声，彻底把我迷住了，这些让我得以进入充满自由和知识的网络聊天室和论坛。我热爱技术，它一直是推动人类进步的引擎，也是我们为人类的成就感到自豪和兴奋的重要原因。
但我也相信，我们这些推动技术创造的人必须有勇气预测技术在未来几十年的走向，并为其担负起责任。如果技术真有可能辜负人类的期望，我们就必须开始思考应对策略。这不仅仅需要个人的努力，更需要社会和政治层面的应对。而这样的应对，需要从我们这个行业，从我和我的同行开始。
有人可能会说，这一切都被过分夸大了；变化是渐进式的，不会那么突然和剧烈；这只不过是技术成熟曲线上的又一个高点，随后技术发展会转入低谷期；我们用于应对危机和变化的系统和机制足够强健。他们还会认为我对人性的看法过于悲观，人类历史的记录到目前为止还算不错，历史上不乏错误的预言家和被证伪的末日宣告者，这一次又有什么理由会不同呢？
悲观规避是一种根深蒂固的本能情绪反应，它让人不愿面对严重的破坏性后果出现的可能性。这种心理往往出现在那些处于安稳状态和权势地位的人身上，他们有着固执的世界观，表面上能应对变化，但实际上不愿接受任何对现有秩序构成的真正挑战。在我批评的那些陷入悲观规避陷阱的人中，有很多人对技术批评持开放态度，但他们只是口头附和，从不付诸行动。他们总是说：“我们会解决好的，一直以来，一切尽在掌控之中。”
在技术或政策领域有一定经历的人很快就能意识到，把头埋进沙子里、逃避现实的鸵鸟政策是这些领域的默认意识形态。背离这种意识形态去思考和行动意味着一定的风险：面对一些巨大而不可阻挡的力量，人们可能被恐惧和愤怒感击倒，而感觉一切都徒劳无功。因此，他们往往会维持这种奇怪而矛盾的悲观规避的心理。我深知这一点，因为我也曾在这种心理状态中挣扎很久。
在我们成立DeepMind之后，在我提及的那些报告展示发生之后，话语已在某种程度上发生了变化。关于工作自动化的辩论已经进行了无数次。一场全球性的大流行病展示了合成生物学的风险和影响力。一股“科技抵制潮”开始涌现，批评者通过文章和图书对技术和技术公司展开猛烈抨击，在华盛顿、布鲁塞尔和北京等监管职能所在的重要城市，对技术的批评声也此起彼伏。以前对于技术的小众担忧如今已成为主流，公众对技术的怀疑在增加，来自学术界、公民社会和政治界的批评声也变得更加尖锐。
然而，在即将到来的技术浪潮和巨大的困境面前，在一众习惯于悲观规避的技术精英面前，所有这些还远远不够。