1.2　LLM有意识吗

LLM的流行和影响力的飙升并非没有受到怀疑和批评。一些哲学家、认知科学家、语言学家、人工智能从业者就LLM是否有可能实现语言理解展开了激烈的辩论。2022年对自然语言处理界活跃的研究人员进行的一项调查显示，这场辩论存在明显分歧。其中一项调查询问受访者是否同意关于LLM原则上能不能理解语言的说法：“只要有足够的数据和计算资源，一些只针对文本进行训练的生成模型（即语言模型）可以在某种非琐碎的意义上理解自然语言”。在480名受访者中，基本上一半（51%）表示同意，另一半（49%）表示不同意（Michael et al，2022）。

1.2.1　理解LLM的层次结构

对LLM及其行为的理解存在一个层次结构，可以将其分为4个不同的层次。

● 还原主义：一些研究人员认为，由于LLM是纯粹的数学构造，只能进行矩阵乘法和其他数字计算，因此缺乏理解、思考和意义。

● 没有理解的能力：尽管LLM的规模巨大，但它可以产生与人类认知功能相当的结果，而无须理解手头的任务。

● 认真对待LLM的涌现：了解LLM的一种更微妙的方法是探索它们表现出意识的潜力。通过研究这些模型的行为模式，可以创建一个新的人工智能心理学领域。

● 朴素拟人主义：有些人认为，因为LLM像人类一样使用语言，所以它们拥有类似人类的品质。然而，这种观点过于简单化，没有考虑到真正的人类认知的复杂性。

1.2.2　意识是否需要碳基生物学

根据目前的理解，语言模型作为纯粹的计算系统，缺乏意识所需的碳基生物学的基本特征。此外，一些研究人员如Block（2009）断言，意识依赖特定的电化学过程，而人工智能等硅基系统缺乏这种过程。如果这些观点成立，这将意味着所有硅基人工智能都不可能具有意识。

但也有一种反驳。人类的意识和思维与物质的大脑，特别是其神经元、突触和其他活动有着错综复杂的联系。这意味着心灵和身体之间不存在幽灵般的脱离关系。神经科学家和心灵哲学家已经驳斥了心灵是独立于大脑而存在的虚无实体的观点。我们必须认识到，大脑的运作是人类认知、感知和行为的基础。心灵不是控制身体的独立实体，而是大脑复杂神经活动的产物。这一认识得到了神经科学的广泛研究的支持。研究表明，每一次有意识的体验都与特定的大脑活动模式相对应。

尽管如此，在某些哲学和宗教传统中，身心分离的观念仍然存在。然而，这些说法受到越来越多证据的挑战，这些证据证明了心灵和大脑的相互联系。

1.2.3　具身化与落地

“中文房间”实验是美国哲学家John Searle于1980年首次提出的一个在现代哲学中颇具影响力的思想实验（Searle，1980）。在实验中，Searle设想自己在一个房间中，房间中有一套操作中文符号和汉字的指令。尽管Searle不懂中文，但他还是按照指令操作，并产生了连贯的中文句子，可以让外人相信房间中有一个讲中文的人。

然而，Searle认为，这种产生可理解的句子的能力并不等同于对语言的真正理解。在他看来，通过编程让计算机以类似的方式对汉字做出反应，只能产生一种理解的表象，而没有真正理解。这一结论对“图灵测试”的有效性提出了挑战，因为“图灵测试”评估的是机器表现出类似人类智能的能力。Searle认为，问题的关键在于计算机只能根据预先设定的规则操纵符号，而不能真正掌握意义或语义。该实验表明，真正的理解不仅仅涉及语法，而计算机无法复制真正理解所涉及的认知过程。

Harnad（1990）主张，人工智能系统需要落地于环境，才能从根本上拥有意义、理解力和意识。Bender and Koller（2020）在文章“Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data”中深入探讨了语言模型，如GPT-3模型（Brown et al，2020）或BERT模型（Devlin et al，2018）能否真正理解语言的问题。他们研究了形式和意义之间的关系，强调了语言的有形方面（如代表语言的符号和标记）即形式。另外，意义指的是这些形式如何与现实世界中的物体和事件相关联。根据Bender and Koller（2020）的观点，仅仅依靠观察语言表达的共现的模式无法了解意义的真正本质。他们利用Searle的“中文房间论证”的改进版来支持这一论断。原因是，意义在本质上是与语言形式和语言之外的具体或抽象事物的交际意向之间的关系联系在一起的。因此，像GPT-3这样的基础模型的功能仅仅是“随机鹦鹉”，它们根据概率信息从庞大的训练数据中随机组合语言形式的序列，而没有真正涉及意义（Bender et al，2021）。

此外，Bisk et al（2020）认为，基础模型的主要制约因素是它们完全依赖语言数据进行学习，而人类是通过具身化、落地和社会互动等方式在世界中的体验来习得语言的。由于这些模型缺乏人类所拥有的对语境的理解，因此无法获得对语言的真正理解，而不仅仅是词汇的共现。因此，尽管这些模型能有效地模仿语言的使用方式，但它们仍然缺乏像人类那样理解和利用语言的能力。

语言落地指的是词语的意义来自它们与我们现实世界经验的联系。在此背景下，语言的社会性也很关键，因为语言只有在与他人交流的社会环境中才有意义。将我们理解语言的方式模板化可以增强我们对“语言落地”的理解。当我们阅读或聆听语言时，大脑会触发一连串的联系经验，促进我们对文本的理解。例如，当听到“猫”这个词时，我们的脑海中立即浮现出猫的形象和行为，以及之前与其他动物如狗的接触。这个过程往往是自动的、下意识的，尤其是当我们匆忙地使用语言时。

儿童习得语言的方式是语言落地的有力例证。典型例子是婴儿通过利用他们周围环境的各种提示来习得语言。他们存在于一个物理世界中，接受来自多方面的感官输入，如聆听针对他们的讲话，观察其他人之间的互动，以及自己尝试说话。婴儿积累了大量的数据，但这些数据并不仅仅来自文本，他们还需要其他感官输入。相比之下，语言模型只能获得词元序列，其能力仅限于识别这些序列中的模式，而没有任何实际经验。

意识和理解需要感官和具身化，这一观点正受到人们的质疑。有人认为，即使是一个缺乏感官和身体的系统，如“桶中大脑”这一思想实验，也可以拥有有意识的思维，尽管有其局限性。同样，一个没有配备感官的人工智能系统可以进行数学推理，思考自身的存在，甚至可能分析世界。此外，语言模型的训练数据中隐含的连贯性概念表明，数据偏向于真实的主张或能够形成连贯世界观的主张。这种规律性在句子内部、句子之间，以及在跨文档和文档集合之间都是很明显的。尽管现今的语言模型可能还不会完全受益于这种结构，但是未来的模型很可能能够隐含地表征一个丰富而详细的世界图景。

关于人类的语言习得，需要注意的一点是，婴儿学习语言的典型方式可能并不包括人类的全部经验。虽然视觉落地对语言学习可能有帮助，但它不是语言学习的必要条件，其他感官输入如听觉、触觉、嗅觉和味觉等也是如此。定义人类成功学习语言的必要和充分的输入是一项具有挑战性的任务。

落地论的另一个局限性是其狭隘的意义概念，即它只基于语言与世界之间的关系。虽然指称能力（referential competence）很重要，但它不是意义的唯一方面。Marconi（1997）区分了指称能力和推理能力，前者涉及将词语与世界联系起来的能力，后者涉及词语如何与其他词语相关的知识。这两种能力是相互关联的，但也是有区别的，甚至在神经认知层面也是如此（Calzavarini，2017）。例如，某人可能有关于布偶猫的知识，但不能指称它们；而另一个人也许能够识别贵宾犬，但缺乏关于其起源或分类的知识（Lenci，2023）。Piantasodi and Hill（2022）也有类似的观点，认为词汇项的意义来自它与更广泛概念框架中其他元素的关系。

词汇语义学领域的一个主流观点认为，分析大量语料库中的词汇共现模式可以产生词汇的语义表征。这一概念被Firth（1957）简明扼要地表述为“你可以通过一个词的伙伴来了解它”。在日常生活中，理解一个词的一个重要方面依赖于一个人对通常与之相伴的词的熟悉程度。这主要是由于我们对世界上的事件、实体和行动的了解都是通过语言接触而获得的，如阅读和听别人说话。

认知科学的最新发展正在挑战“落地在意义中的作用”的传统观点，转而提倡“多元表征”（representational pluralism）的观点。根据这一观点，所有概念都是由经验表征和语言表征组成的，但它们的相对重要性是不同的。语言具身化假说的支持者，如Dove（2023），认为语言模拟在概念的形成中起着重要作用。因此，语言的共现以及其他多模态的经验有助于意义的形成（Lenci，2018）。依靠从语境中提取的统计分布的基础模型，已被证明在先天性视觉障碍者学习视觉属性的过程中发挥了重要作用（Lewis et al，2019b）。这表明，纯文本的基础模型，即使缺乏指称知识，也能对意义有一定的理解。Piantasodi and Hill（2022）认为，这类似于一个人可以知道“土豚”（aardvark）这样的单词的含义，但无法指出其指称对象。Bi（2021）在其研究中提出了一种基于模型的技术，通过分析阅读自然句子时诱发的大脑活动，初步展示了检测经验和语言习得知识的方法。

基础模型的新进展致力于通过整合图像和动作等不同来源的信息来解决落地问题。例如，视觉语言模型（我们将在第11章中深入讨论）落地于环境的图像，而语言动作模型（Ahn et al，2022）则落地于可执行的动作。如图1-1所示，语言决策模型可以通过提示、传统的生成模型、计划、最优控制和强化学习等手段将基础模型落地实际决策场景。CLIP（Radford et al，2021）和DALL·E2（Ramesh et al，2022）分别是可以从图像生成文本和从文本生成图像的模型。GPT-4作为一个多模态模型，可以结合不同的模态，通过接触“语言之外的世界”，在一定程度上解决落地问题。图1-2展示了DeepMind的MIA（Multimodal Interactive Agent，多模态互动智能体）。在3D的“游戏屋”（Playhouse）环境中，人类和智能体使用模拟的化身进行互动。这个环境由各种房间组成，房间中有家庭用品、儿童玩具、容器、架子、家具、窗户和门，所有这些都是随机排列的。物体和空间的多样性使得互动涉及物体关系的推理、空间推理、参照物的模糊性、构造、支持、遮挡、部分可观察性和隔离。智能体可以在“游戏屋”中移动、操纵物体，并相互交流。因此，尽管Bender and Koller（2020）提出的落地问题对于强调基础模型与多模态数据的整合很重要，但这并不构成反对基础模型的明确论据。

图1-1　语言决策模型基于大量的数据进行预训练，
通过与外部实体互动和接收反馈来完成特定的任务（图片来源：Yang et al，2023a）

图1-2　模拟的“游戏屋”环境中的互动（图片来源：Team et al，2021）

从人类的角度来看，语言模型是一种极端情况，因为它们缺乏许多典型的人类能力，却拥有一种超人类的能力。因此，人类很难想象成为这样的智能体会是什么样子。因此，人类对语言模型的直觉也许并不可靠。

1.2.4　世界模型

LLM是学习世界模型或仅仅是表面统计呢

LLM是一种数学模型，可以生成人类文本中的词元的统计分布。这些词元可以是单词、单词的一部分或单个字符，其中包括庞大的公共语料库中的标点符号。LLM能够生成可能的单词序列，并能够回答与之相关的具体问题。正如Shanahan（2022）所论证的，从根本上说，基本LLM的知识是有限的，因为它主要进行序列预测。虽然它有时可以生成命题序列，但命题序列和真理之间的特殊联系只有在人类提出问题或为模型的训练提供数据时才会显现。LLM并不像人类那样认为命题序列是特殊的，它缺乏准确理解真假的能力。有人可能会说，LLM对哪些词通常跟在其他词后面有一种感觉，与意向性立场无关。但根据Shanahan（2022）的说法，这并不等同于仅仅通过预测“美国北部的国家是”后面跟的是“加拿大”就知道加拿大在美国的北部。将这两个概念混为一谈，犯了一个重大的类别错误。

根据Bender and Koller（2020）的观点，LLM在实现“人类模拟”理解方面是一条死胡同。在语言语义学领域，Bender和Koller的观点被广泛接受。这种观点可以追溯到20世纪中期的逻辑学和语言学研究，并由Lewis（1976）进一步加强。Lewis认为“不处理真理条件的语义学就不是语义学”。

大多数最新的LLM都将Transformer纳入其架构中，这对于有效地模拟句子或文档中的词元之间的长程依赖关系尤其有利。Transformer被认为是一个通用的函数近似器，能够在给定足够的训练数据和计算资源的情况下，对任何连续函数进行近似，并达到所需的准确度。因此，Transformer具有高度的通用性，能够学习自然语言数据中的复杂模式，如单词之间的句法和语义关系，并利用这些知识来产生连贯而有意义的文本。

因此，至少在理论上，像Transformer这样的神经网络系统有可能开发出深层次的、稳健的世界模型。随着时间的推移，这有可能使得预测任务取得更好的表现。因此，为了尽量减小这些系统的预测误差，需要对世界有全面的了解。例如，在讨论纽约市的地铁系统时，一个完善的地铁系统模型将极大地提高预测的准确性。这意味着，充分优化各种模型的预测误差，应该会产生稳健的世界模型（Chalmers，2023）。事实上，Goldstein et al（2022）发现，GPT等自回归语言模型遵循的重要计算原理与大脑相类似，后者在处理自然语言时会进行下一个单词的预测。大脑用上下文嵌入来表征单词，这些嵌入包含了语言上下文的各种句法、语义和语用（pragmatic）属性。需要注意的是，语用属性的一个方面是理解他人话语的本意，而不仅仅是理解字面意思。分布式学习是一种有效的知识归纳机制，因为语言旨在用于交流我们对世界的体验，并将这些体验的相关方面编码在语言结构中。Louwerse的“符号相互依赖假说”支持这一观点。相关体验不仅包括具身性的维度，还包括语用性和社会性的维度，这些维度都可以从共现数据中复原。在最近的一项研究中，Hu et al（2022）系统地调查了基础模型的语用能力，如识别间接言语行为以及理解隐喻和讽刺等。他们发现，这些模型解决了其中的一些能力，其准确性接近于人类。这项研究并没有表明神经语言模型拥有“语用理解能力”，而是表明对语言形式方面的经验可能足以推导出许多类似人类的行为模式。这与认知证据相一致，表明语言理解并不总是需要构建高度结构化的语义表征或复杂的推理过程。根据句子处理的“足够好”模型，可以使用简单的表面启发式方法来构建表征，以完成特定语言理解任务。这种启发式方法可能包括与特定沟通意图或语义维度密切相关的分布线索，神经语言模型善于从语言输入中学习这些线索，并利用这些线索来高效地解决沟通任务。

主要问题不是语言模型是否有可能拥有世界模型和自我模型，而是这些模型目前是否存在于LLM中。这是一个经验调查问题。虽然相关证据还不完善，但可解释性研究表明，LLM可以拥有强大的世界模型。例如，研究人员Li et al（2022）训练LLM玩黑白棋游戏，结果表明，LLM建立了一个游戏棋盘方格的内部模型，并以此来决定下一步棋。Li et al（2022）的研究表明，在某些自然语言环境中，预先存在的Transformer拥有隐式生成世界语义近似表征的能力。此外，人们还在努力确定在语言模型中如何被表征以及在哪里被表征（Akyürek et al，2022a；Jiang et al，2020）。

1.2.5　沟通意图

当今的语言模型似乎并不具备沟通意图（Shanahan，2022；Bender and Koller，2020）。它们对提示做出反应时没有任何刻意的意图，而且经常产生不连贯或相互矛盾的输出。它们的行为可以用数学方法来解释，但这些解释并没有考虑到任何意图的成分，这就强化了它们缺乏意向的想法。正如Andreas（2022）所指出的，它们充其量只能对特定文件的语言模式进行建模，从而生成与特定人或智能体相一致的文本。然而，生成文本背后的潜在意图仍然缺失。一般来说，LLM没有任何有意义的事情可言，因为它们的训练目标是最大限度地提高下一个掩蔽词的预测准确性，而不是生成现实世界中特定目标的文本。LLM并不具备任何有意义的理解能力，即使人们采用有意图的立场，也无法理解它所收到的询问来自人类，或者人类是其回复的接收者。因此，LLM对这个人既不了解也不理解。它没有能力理解这个人的询问，也没有能力理解它的回答可能对其信仰产生的影响。

此外，由于缺乏沟通意图，LLM在尝试自动生成长段落的文本时，往往难以生成连贯一致的文本。例如，当提示LLM完成一个句子时，它会生成一两句基本合理的续句。但是，当提示继续时，它就开始生成错误或误导性的句子。虽然这些句子在语法上都是正确的，但是LLM缺乏任何更广泛的意义或沟通意图。因此，随着与人类生成的提示的距离增加，模型生成的文本最终变得不连贯（Mahowald et al，2023）。

全局工作空间理论（Global Workspace Theory，GWT）作为人类和灵长类动物获取认知的功能模型，已经得到广泛认可（Dehaene，2014）。正如Baars（1993）所指出的，全局工作空间的概念在涉及保留和操作抽象信息的任务中特别有价值。因此，正如Mashour et al（2020）所讨论的，在全局工作空间的背景下进行广播与通常所说的工作记忆之间存在着密切的关联。工作记忆可以被有意识地操纵，在面对争相进入工作空间的潜在干扰因素时，需要有意识地努力维持信息。

目前的标准LLM缺乏明确的全局工作空间。然而，有可能扩大这些模型以纳入这样一个工作空间。当前，关于多模态语言模型的研究越来越多，这些模型使用工作空间来协调各种模态。这些模型包含不同形式的数据的输入和输出模块，如文本、图像或声音，这些数据可以在高维空间中表征。为了连接这些模块，需要一个低维空间作为接口。这个接口类似于全局工作空间。基于注意力的感知器架构（Jaegle et al，2021）已被证明在注意力控制和工作记忆任务中表现出与认知科学文献（Juliani et al，2022）中预期的GWT一致的经验行为。研究人员已经开始将这些模型与意识联系起来。Goyal et al（2021）提出，多个神经模块之间的全局工作空间瓶颈可以模仿缓慢的有意识推理的某些功能。

总之，为人类赋予意图的过程错综复杂、模棱两可。意向性所需的基本认知要素仍未确定，这使得确定人工智能系统为展示意向性所应达到的基准变得困难重重。即将推出的语言模型有可能通过尚未发现的机制来展示意向性。

1.2.6　系统性和全面泛化

除了落地论以外，在自然语言理解的框架下，系统性论也是经常讨论的针对神经网络的另一种批判。落地论关注的是这些系统用来学习的数据源，而系统性论关注的是它们能够泛化的类型。

考虑到猪是一种通常不会飞的动物，我们可以将它与一种会能飞的动物进行对比。如图1-3所示，通过在头脑中将猪不会飞的属性替换为会飞的能力，我们就可以掌握“飞猪”这一概念。这种符号操作的心理过程称为“意义构成”。从根本上说，意义构成原则认为，我们有能力将世界中离散的元素（如实体、属性和动作）概念化，并以一种有意义的方式将这些元素进行组合。这种意义的特点是，在努力解释特定语言表达的人的头脑中具有一致的表征。根据Pelletier（1994）的语义构成原则〔有时被称为“弗雷格原则”（Frege’s Principle）〕，一个句子整体的意义（其句法是复杂的）完全取决于其句法部分的意义以及这些部分的组合方式。

图1-3　会飞的猪

人类语言的一个重要方面是生产力，即产生和解释无限多的表达方式的能力。要做到这一点，人类有能力超越他们所接触的具体数据，实现概括。一些研究人员认为，新一代的LLM系统表现出与人类类似的生产力，这表明它们已经学会了支配自然语言的一般规则和原则。然而，包括Berent and Marcus（2019）在内的其他研究人员则认为，目前的LLM缺乏人类认知的一个关键特征：有能力做出适用于某个类别的任何成员的全面概括，无论其与训练项目是否相似。这是因为人类的学习机制允许形成抽象类别，对所有成员一视同仁，并使用变量进行代数操作。与之不同的是，神经语言模型只能对与训练数据相似的新数据项实现泛化，这就限制了它们的生产力，只能进行类比性概括。因此，它们无法学习对自然语言理解至关重要的系统化概括。系统性论类似于Fodor and Pylyshyn（1988）针对早期神经网络的联结主义模型提出的论点。他们认为，人类认知和语言的特点是系统性和构成性，这两者是相互依存的属性。系统性是指产生和理解具有内在联系的句子的能力，而构成性是指一个词汇项应该对它出现的每个表达作出同样的贡献。识别句子之间的系统关系和词汇项意义的能力，对于掌握自然语言背后的概括能力至关重要。

Berent and Marcus（2019）认为，只有将内部结构化的表征与变量相结合的系统，如符号化的系统，才能解释系统性和全面概括性。他们认为，用缺乏内部结构的向量表征信息的神经网络不能解释人类认知的关键方面——系统性和构成性。最近在简化或人工语言数据上训练的神经语言模型实验显示，虽然神经语言模型具有泛化能力，但它们无法以系统性的方式进行泛化。虽然基础模型习得了关于事件及其可信参与者的知识，但这些知识往往非常依赖特定的词汇模式，缺乏与人类认知相同的概括能力。

然而，系统性论假定自然语言的基本属性是构成性、系统性和全面概括性，这一点受到一些语言学现象的挑战。自然语言的准构成性（Rabovsky and McClelland，2020）和由基础模型学习的上下文嵌入所捕捉到的上下文敏感性与系统性论相矛盾。此外，语言中普遍存在的非系统性和半规则过程也削弱了全面概括性的论据。自然语言的特点是，基于与先前所见范例的相似性，实现类比概括的部分生产力（Goldberg，2019）。因此，虽然神经语言模型在努力实现构成性和系统性泛化，但它们同样偏离了这些属性，并能够捕捉到自然语言的重要方面（Lenci，2023）。

根据Lenci（2023）的观点，依赖分类表征的计算模型，如系统性支持者所倡导的符号模型，在解释语言概括的部分生产性和准构成性方面面临困难。另外，神经语言模型的连续表征在解决由类比过程、相似性和梯度所引起的语言能力问题方面具有潜力。虽然语言模型的主要关注点不是会话，而是一般的智能，但是它们在作诗、玩游戏、回答问题和提供建议等不同领域表现出与领域一样的能力，尽管并非完美无缺。

关于意识的讨论，以领域通用（domain-general）的方式使用信息被认为是意识的一个重要指标。因此，语言模型的通用性越来越强，这表明人类已经向意识迈进了一步，虽然它与人类智能相比仍有差距。尽管如此，语言模型的通用能力为这个概念提供了一些初步支持。