引言
本书的主题是心智的未来，关于我们对自身、人类心智以及本性的理解会如何彻底地改变未来，无论这种改变是好是坏。我们大脑在特定环境中演化，同时受解剖结构与演化路径所束缚。但人工智能开启了一片浩瀚的设计空间，提供了新材料和新的运转方式，还有探索设计空间的全新方式，速度远超生物演化。我将这一振奋人心的全新事业称为心智设计（mind design）。心智设计属于某种形式的智能设计[1]，但设计者是我们人类，而不是上帝。
我认为心智设计的前景会令我自惭不已，因为坦白地说，我们进化得也不怎么样。正如卡尔·萨根（Carl Sagan）的电影《超时空接触》（Contact）中外星人第一次遇到人类时说的那样：“你们是个有趣的物种，有趣的混合体。你们有着如此美丽的梦想，又做得出如此可怖的噩梦。”1我们曾在月球上行走，又能降伏原子中的能量，但种族主义、贪婪和暴力仍然普遍。我们的社会发展落后于技术进步。
反过来说，当我作为一名哲学家告诉你，我们对心智的本性仍然一头雾水时，这可能并不那么令人担忧。但对某些哲学话题的缺乏理解也会让我们付出代价。当你沿着本书的两条主线思考时，就会明白这一点。
第一条主线可能对你来说相当熟悉，那就是你的意识本身，它贯穿了你的人生。当你阅读这些文字时，你会有自己存在的实感。你有来自身体的感觉，能看见书页上的文字，等等。意识就是你对心理活动的这种感受性。没有意识的话，就不会有苦痛，不会有乐趣，不会有炽烈的好奇，也不会有深切的悲痛。体验，无论是好是坏，都不会存在。
正是作为有意识的存在，你才会盼望假期，盼望林间远足，盼望丰盛大餐。正因意识如此真切而熟悉，你对意识的理解自然主要来自切身体验，毕竟也不需要神经科学的教科书，你就能从内部理解意识存在的感受。本质上，意识就是这种内部感受。我认为这一内核，也就是你的意识体验，正是拥有心智的典型特性。
接下来有些坏消息。本书的第二条主线就是，如果我们没有全盘考虑人工智能在哲学上的所有推论，就有可能导致有意识的存在无法繁荣发展。如果我们不加小心，就可能遇上人工智能技术的违意实现（perverse realization）——在这种情况下，人工智能非但不会让生活更轻松，而且会导致我们自身的苦难甚至消灭，又或者是对其他有意识存在的剥削。
许多人已经讨论过人工智能对人类发展的威胁，从黑客强行关闭电力网络，到类似电影《终结者》（The Terminator）中的超级智能自主武器。相比之下，我提出的问题没有受到那么多的关注，但它们的重要性毫不逊色。我心中的违意实现往往能归于下面两类：一是某些被忽视的场景可能会创造带有意识的机器，二是关于对大脑进行根本性增强的场景，比如假想的心智设计中心的那些大脑增强项目。我们现在来逐一考虑这两类场景。
带有意识的机器？
假设我们创造了精巧的通用人工智能，它们能够在不同种类的智力任务之间切换自如，而推理能力更能与人类匹敌。我们是否实质上创造了带有意识的机器——拥有自我和体验的机器？
对于能否或者如何在机器中创造意识，我们一无所知。但有一点是肯定的：人工智能是否能够拥有体验，这个问题将会是我们衡量它们存在价值的关键。意识是我们道德系统的哲学基石，当我们判断某一个体到底是拥有自我的人还是单纯的自动机器时，意识处于中心地位。如果人工智能拥有意识的话，强迫它为我们服务就像是在奴役它。毕竟，如果仿生人商店价目表上的项目都是有意识的个体，而且这些个体的心智能力足以匹敌甚至超越未经增强的人类的话，那么你在选购时良心真的过得去吗？
如果我是谷歌或者Facebook的人工智能负责人，我不想因为无意中设计出拥有意识的系统而陷入伦理的泥潭。在开发一个系统之后发现它拥有意识，这可能会导致公司被指控奴役人工智能或者陷入其他公共关系灾难，甚至可能导致人工智能在某些行业中的应用被禁止。
我认为，这些问题可能会促使研究人工智能的公司采用意识工程（consciousness engineering）——为了在制造某些特定用途的人工智能时避免引入意识，又或者为了在其他合适的情况下设计拥有意识的人工智能，而在工程上有意作出的努力。当然，这假定了意识是某种可以在系统设计中随意添加或者去除的东西。有可能意识是构建智能系统时不可避免的副产品，也有可能意识根本不可能被构建。
长远来说，人类也许不再能够掌控局面，问题可能不是我们会对人工智能造成什么伤害，而是人工智能会对我们造成什么伤害。的确，有人认为机械智能也许是地球上智能的演化过程的下一步。在世界上生活着感受着种种体验的你和我，也许只是到达人工智能的中间步骤，演化阶梯上的踏脚石。例如，斯蒂芬·霍金（Stephen Hawking）、尼克·博斯特罗姆（Nick Bostrom）、埃隆·马斯克（Elon Musk）、马克斯·泰格马克（Max Tegmark）、比尔·盖茨（Bill Gates）等等人物提出了所谓的“控制问题”（control problem），也就是人类如何才能控制自己创造出来的，但远比自己聪明的人工智能2。假设我们创造出了拥有人类水平智慧的人工智能，那么通过自我提升的算法，再加上高速计算，人工智能也许会迅速发现如何将自身智能提高到远远超越人类水平的方法，从而成为超级智能（superintelligence）——也就是说，能够在所有领域都超越我们的人工智能。因为它是超级智能，所以我们大概无法掌控。从原则上来说，它可能会使我们走向灭绝。这只是机械智能取代有机智能的一种方式，人类也有可能通过越来越深入的大脑增强而与人工智能融合。
控制问题已经被世界媒体广泛报道，推波助澜的是博斯特罗姆的著作《超级智能：路线图、危险性与应对策略》（Superintelligence：Paths, Dangers and Strategies）3。但它忽视了一点，就是在人工智能对我们人类的价值衡量中，意识可能占据了核心地位。超级人工智能利用自身的主观经验作为跳板，能够认识到我们拥有意识体验的能力。毕竟在我们衡量其他动物生命的价值时，更倾向于珍视那些我们觉得在意识层面上跟我们更相像的生命。因此，绝大部分人对于杀死黑猩猩避之不及，但对于吃橙子却不然。如果机械超级智能没有意识，无论是因为机器不可能有意识，还是因为它们的设计中不包含意识，我们都会身处困境。
将这些问题放在宇宙层面的更广阔场景中考虑是非常重要的。我在美国国家航空航天局（NASA）一个为期两年的项目中提出，类似的现象可能也会在其他星球上出现，在宇宙的其他地方，那里的物种也可能被机械智能取代。当我们搜寻其他地方的生命时必须记住，最强大的外星智能可能是后生物的（postbiological），也就是从生物构建的文明中演进而来的人工智能。这些人工智能如果没有意识的话，那么当它们取代生物智能时，宇宙就失去了这些被取代的有意识个体组成的种群了。
如果人工智能的意识问题正如我所说的那么重要的话，我们最好厘清有意识的人工智能是否可能被建造出来，还有我们人类应否建造这样的人工智能。在接下来的章节中，我会探索各种不同的方法来确认机械意识是否存在，概述我在美国普林斯顿高等研究院研究得出的一些测试。
现在我们来考虑人类与人工智能融合的这个提议。假设你身处心智设计中心，你会从列表中选择哪些大脑增强项目呢？还是会什么都不选？你可能已经意识到，心智设计的选择并非易事。
你能与人工智能融合吗？
如果你觉得利用微型芯片对大脑进行增强的这个想法令人坐立不安的话，我不会觉得惊讶，因为我跟你一样。就在我写下这篇引言时，我的智能手机上的应用大概正在跟踪我的位置，收集我的声音，记录我的网络搜索内容，并将这些信息出售给广告商。我觉得自己应该已经关闭了这些功能，但我无法确定这一点，因为编写这些应用的公司将关闭跟踪的流程设置得非常曲折晦涩。如果编写人工智能的公司连在当下都无法尊重我们的隐私，那么当你内心深处的想法被提取并转换到芯片上，甚至可以在互联网某处访问到的时候，这些数据又会遭到何种滥用呢？
但先假设关于人工智能的监管有所进步，如果我们可以保护自己的大脑免受黑客和贪婪公司的侵害，那么眼看着周围的人获益于大脑增强技术，你大概也会感受到它的吸引力。毕竟，如果与人工智能融合可以让你获得超级智能，从根本上延长寿命，那么它岂不是远远好于另外一种选择，也就是大脑和身体无法避免的衰退？
人类应该与人工智能融合的这个想法在今天相当流行，既作为避免人类在职场上被人工智能取代的手段，也作为通向超级智能与永生的途径。例如马斯克最近就评论道，人类“通过某种生物智能与机械智能的融合”就能避免被人工智能取代4。为此，他成立了一家名为Neuralink的新公司，它的初始目标之一就是开发所谓的“神经织网”（neural lace），也就是一种可以通过注射植入的网状材料，用以直接连接大脑与计算机。人们认为神经织网与其他基于人工智能的大脑增强项目能将大脑中的数据无线传输到个人电子设备，甚至传输到拥有庞大计算能力的云端。
但马斯克的动机也许并非大公无私。他正在推动一系列利用人工智能增强大脑的产品，而这些产品希望解决的正是人工智能这个领域本身制造出来的问题。也许最后我们会发现这些大脑增强项目确实有好处，但要知道答案，我们需要摆脱目前的狂热。从决策者到公众，甚至连人工智能研究者自身，都应该更充分地理解其中利弊。
例如，假设人工智能无法拥有意识，那么你用芯片代替了大脑中负责意识的那些部分的话，你就不能作为有意识的存在而活下去了。你会变成哲学家所说的“哲学僵尸”，只是你先前自我的一个无意识的模拟品。此外，即使用芯片代替大脑中负责意识的部分不会让你变成哲学僵尸，但激进的大脑增强项目仍然有重大风险。如果你历经过多变化，最后变成的那个人可能不再是你自己。选择大脑增强的人也许会在整个过程中不知不觉地结束掉自己的生命。
在我的印象中，许多支持激进大脑增强的人都没有理解到，你在增强之后可能不再是你。这些人通常倾向于认同“心智相当于软件程序”这种对心智的理解。对他们来说，你可以对大脑的硬件进行根本性的增强，但同时仍然运行相同的程序，所以你的心智仍会存在。正如计算机上的文件可以任意上传下载，你的心智作为一个程序，也可以上传到云端。这就是技术狂热爱好者的永生之路——心智将超越身体而存在，这种存在可谓某种全新的“来世”。虽然这种关于心智的观点作为某种技术形式的永生可能非常吸引人，但我们会看到它其实有着深刻的缺陷。
所以说，如果几十年后你走进心智设计中心或者仿生人商店，要记住你购买的人工智能技术有可能因为某种深刻的哲学理由而不管用，购买时要考虑风险。但在我们认真考虑这个可能性之前，你可能会觉得这些问题会永远停留在假设层面，因为我错误地假定了以后会开发出足够精巧的人工智能。为什么我们会认为这些东西会成为现实呢？