第三章　遏制问题

报复效应

艾伦·图灵和戈登·摩尔不可能预见、更不可能左右社交媒体、表情包、维基百科或网络攻击这些新生事物。在原子弹问世几十年后，原子弹的制造者已无法再阻止核战争爆发，就像亨利·福特无法阻止车祸发生一样。技术所面临的必然的挑战在于，一旦某项发明问世并融入世界，其创造者就会迅速失去对其发展走向的控制。

技术存在于一个复杂且动态的系统（现实世界）中，其二阶、三阶乃至更高阶的影响会以不可预测的方式扩散。理论上看似完美的技术，在现实中可能展现出完全不同的面貌，尤其是在它被复制和后续改造的过程中。无论一项发明的初衷多么友善，我们都永远无法保证人们会如何实际运用它。托马斯·爱迪生发明留声机，原本是为了让人们记录自己的想法并为后世保存下来，也为了帮助盲人。然而，令他感到震惊的是，大多数人只是用留声机来播放音乐。阿尔弗雷德·诺贝尔发明炸药的初衷是将其用于采矿和铁路建设。

谷登堡最初只是想通过印刷《圣经》来赚钱。然而，他的印刷机却催生了科学革命和宗教改革运动，也因此成为天主教教会自创立以来遭遇的最大威胁。冰箱制造商从没有想过氯氟碳化物会在臭氧层造成空洞，正如内燃机和喷气式发动机的发明者未曾想到它们会导致冰山融化。事实上，早期的汽车爱好者曾认为汽车对环境有积极影响，他们认为，有了发动机，街道上那些堆积如山的马粪就会消失，而马粪曾是造成城市地区污垢和疾病传播的罪魁祸首。他们根本没想到全球变暖的问题。

理解技术，在某种程度上，就是要尝试理解其意料之外的后果。1我们不仅要预测技术带来的积极溢出效应，还要预测其“报复效应”。简言之，任何技术都有可能出错，而且往往是以一种与初衷背道而驰的方式出错。想想处方阿片类药物如何导致依赖成瘾；抗生素的过度使用如何削弱了其药效；卫星和所谓的“太空垃圾”碎片的激增如何给太空飞行带来极大风险。这些都是典型的例子。

当技术不断扩散，越来越多的人能够使用、修改，并按自己的喜好来塑造它时，这会触及一连串错综复杂、难以预料的因果链条。随着我们的工具的力量呈指数级增长，普及程度急剧攀升，它们的潜在危害也在同步激增，其后果仿佛一个复杂难料的迷宫，无人能预测或防范。

某一天，有人在黑板上写下几个方程，或者在车库里摆弄一个看似微不足道的原型机。然而，几十年后，这些看似无足轻重的举动却可能带来生死攸关的问题。随着我们构建的系统日益强大，技术的风险面对我来说也变得越来越紧迫。我们如何保证这场新的技术浪潮利大于弊？

技术的这一问题是一个遏制问题。彻底消除这个问题可能难以实现，但我们可以减少它的影响。遏制是一种至关重要的能力，涵盖了控制、限制以及必要时在技术的任何发展或部署阶段关闭技术的能力。在某些情况下，这意味着我们一开始就应具备阻止技术扩散的能力，从而遏制潜在意外结果的蔓延，无论这些结果是好是坏。

技术的力量越强大，它就越是深入生活和社会的方方面面。因此，技术的问题往往会随着技术能力的提升而加剧，所以随着时间的推移，遏制的需求也变得更加迫切。

面对这些问题，技术人员可能袖手旁观吗？绝对不能。相比其他人，我们更需要直面这些问题。我们或许无法控制技术的最终点或其长远影响，但这绝非推卸责任的理由。技术人员和社会在源头上做出的决策，仍然有可能塑造结果。结果难以预测，并不意味着我们应该放弃尝试。

在大多数情况下，遏制代表着一种富有意义的控制，表示我们有能力阻止特定的使用案例、改变某个研究方向或拒绝有害行为者的使用权限。这意味着我们要保持我们引导浪潮的能力，以确保技术的影响与我们的价值观相契合，能助力我们这个物种的繁荣发展，并且不会带来大于其益处的重大危害。

本章将揭示实现该目标所面临的巨大挑战。