太平洋科技企业站

机器思想：伟大的AI意识难题

佚名整合编辑：王珂玥发布于：2023-10-17 10:12

去年9月，David Chalmers收到了邀请，他万万没想到。作为意识领域的权威人物，Chalmers定期在大学和学术会议上周游世界，为全神贯注的哲学家听众发表演讲——这类人可能会花几个小时讨论自己头脑之外的世界是否真实，然后在一天剩下的时间里无忧无虑。然而，这个最新的请求来自一个令人惊讶的来源：神经信息处理系统大会(NeurIPS)的组织者，这是人工智能领域最聪明的人的年度聚会。

在大会召开前不到六个月，当时在Google工作的一位名叫布Blake Lemoine的工程师公开表示，他认为该公司的人工智能系统之一LaMDA已经实现了意识。Lemoine的说法很快被媒体驳回，他也被解雇了，但精灵不会那么容易回到瓶子里——尤其是在2022年11月ChatGPT发布之后。突然之间，任何人都可以与一个有礼貌、有创造力的人工智能进行一场复杂的对话。

谈论人工智能意识是一个非常明智的选择。他在印第安纳大学人工智能实验室获得了哲学博士学位，在那里，他和他的计算机科学家同事们利用休息时间讨论机器是否有一天会有思想。在他1996年出版的《有意识的心灵》一书中，他用了整整一章来论证人工意识是可能的。

说，如果他能在上世纪90年代与LaMDA和ChatGPT这样的系统进行交互，那时还没有人知道这种东西是如何工作的，他就会认为它们很有可能是有意识的。但当他站在新奥尔良一个宽敞的会议大厅里，穿着他标志性的皮夹克，面对一群NeurIPS与会者时，他给出了不同的评价。是的，大型语言模型——在庞大的文本语料库上训练的系统，为了尽可能准确地模仿人类的写作——令人印象深刻。但是，他说，他们缺乏太多潜在的意识的必要条件，让我们相信他们实际上体验了这个世界。

“意识给我们研究它的尝试带来了独特的挑战，因为它很难定义。”——Liad Mudrik，特拉维夫大学神经学家

然而，在人工智能发展的极快速度下，情况可能会突然发生变化。对于那些有数学头脑的读者，查尔默斯给出了具体的答案：他估计，未来10年开发出有意识的人工智能的几率在五分之一以上。

没有多少人认为他的提议荒谬，查尔默斯说：“我的意思是，我敢肯定有些人有这种反应，但他们不是和我说话的人。”相反，他在接下来的几天里与人工智能专家进行了一次又一次的交谈，这些专家非常认真地对待了他所描述的可能性。有些人来到查尔默斯，对有意识机器的概念充满了热情。不过，也有人对他的描述感到震惊。他们认为，如果人工智能是有意识的——如果它能从自己的个人角度看世界，不仅仅是处理输入，而且还能体验它们——那么，也许它会受苦。

人工智能意识不仅仅是一个极其棘手的智力难题；这是一个道德上的重大问题，可能会带来可怕的后果。如果不能识别一个有意识的AI，你可能会在无意中征服甚至折磨一个本应关心其利益的生物。把无意识的人工智能误认为有意识的人工智能，你就有可能为了一个没有思想、没有感情的芯片和代码而牺牲人类的安全和幸福。这两种错误都很容易犯。特拉维夫大学(Tel Aviv University)的神经科学家利Liad Mudrik从21世纪初开始研究意识，他说:“意识给我们的研究带来了独特的挑战，因为它很难定义。”“这本质上是主观的。”

在过去的几十年里，一个小型研究团体坚持不懈地研究意识是什么以及它是如何工作的问题。这一努力在曾经看似无法解决的问题上取得了真正的进展。现在，随着人工智能技术的快速发展，这些见解可能是我们进入人工意识这个未经测试、充满道德的领域的唯一指南。

说:“如果我们作为一个领域能够利用我们现有的理论和发现，来对意识进行良好的测试，这可能是我们能做出的最重要的贡献之一。”

当Mudrik解释她的意识研究时，她从她最喜欢的东西之一开始：巧克力。把一块放在嘴里会激发神经生物学事件的交响曲——舌头上的糖和脂肪受体激活大脑连接的通路，脑干中的细胞群刺激唾液腺，大脑深处的神经元释放化学物质多巴胺。然而，这些过程都无法捕捉到从锡箔包装中撕下一块方形巧克力并让它在口中融化的感觉。Mudrik说:“我试图理解的是，大脑中是什么让我们不仅能够处理信息——这本身就是一项艰巨的挑战，也是大脑的一项惊人成就——还能体验我们正在处理的信息。”

从专业角度来说，学习信息处理对Mudrik来说是更直接的选择。长期以来，意识一直是神经科学中一个被边缘化的话题，往好里说是不严肃的，往坏里说是难以处理的。1996年版《国际心理学词典》中“意识”一词的词条是这样写的:“这是一个迷人但难以捉摸的现象。”“上面没写什么值得一读的东西。”

这没能让Mudrik停止研究。从21世纪初的本科阶段开始，她就知道自己不想研究意识以外的任何东西。“作为一名年轻的研究人员，这可能不是最明智的决定，但我就是忍不住，”她说。“我怎么也看不够。”她获得了两个博士学位，一个是神经科学博士，一个是哲学博士，因为她决心破译人类经验的本质。

意识是一个难以捉摸的话题，但也不是不可能把它界定得尽可能简单，它是一种体验事物的能力。它经常与“感知”和“自我意识”等术语混淆，但根据许多专家使用的定义，意识是其他更复杂能力的先决条件。要有知觉，一个生命必须能够有积极和消极的经验——换句话说，快乐和痛苦。自我意识不仅意味着拥有一种经历，还意味着知道你正在经历一种经历。

在她的实验室里，Mudrik并不担心感知和自我意识；她感兴趣的是观察当她操纵人们的意识体验时大脑会发生什么。这在原则上是很容易做到的。给某人一块西兰花吃，其体验将与吃一块巧克力大不相同，而且可能导致不同的脑部扫描结果。问题是这些差异是无法解释的。我们不可能分辨出哪些与信息的变化有关——西兰花和巧克力激活了非常不同的味觉感受器——哪些代表了意识体验的变化。

诀窍是在不改变刺激的情况下改变体验，就像给某人一块巧克力，然后拨动开关，让它感觉像在吃西兰花。这在味觉上是不可能的，但在视觉上是可以的。在一种被广泛使用的方法中，科学家让人们同时看两张不同的图像，每只眼睛各看一张。虽然眼睛同时接收两种图像，但不可能同时感知两种图像，因此受试者通常会报告他们的视觉体验“翻转”：首先他们看到一个图像，然后自发地看到另一个图像。通过追踪这些意识翻转过程中的大脑活动，科学家们可以观察到，当输入的信息保持不变，但对它的体验发生了变化时，会发生什么。

通过这些方法和其他方法，Mudrik和她的同事们已经成功地建立了一些关于意识如何在人类大脑中工作的具体事实。小脑是位于颅骨底部的一个大脑区域，类似于一团拳头大小的天使发（angel hair）意大利面团，它似乎在有意识的体验中不起作用，尽管它对骑自行车等潜意识运动任务至关重要；另一方面，反馈连接——例如，从大脑的“高级”认知区域到参与更基本感觉处理的区域之间的连接——似乎对意识至关重要。(顺便说一句，这是怀疑LLM意识的一个很好的理由：他们缺乏实质性的反馈联系。)

十年前，一群意大利和比利时的神经科学家设法设计了一种使用经颅磁刺激技术（Transcranial Magnetic Stimulation, TMS）的人类意识测试，这是一种非侵入性的大脑刺激方式，通过在某人的头部附近拿一个数字8形的磁棒来实现。仅从由此产生的大脑活动模式来看，研究小组就能够将有意识的人与麻醉或深度睡眠的人区分开来，他们甚至可以检测出植物人状态(清醒但没有意识)和闭锁综合症(患者有意识但完全不能移动)之间的区别。

这是意识研究的巨大进步，但对于有意识的人工智能来说意义不大：OpenAI的GPT模型没有可以被TMS棒刺激的大脑。为了测试人工智能的意识，仅仅确定人类大脑中产生意识的结构是不够的。你需要知道为什么这些结构对意识有贡献，以一种足够严格和普遍的方式，适用于任何系统，人类或其他系统。

“最终，你需要一个理论，”艾伦研究所(Allen Institute)前院长、颇有影响力的意识研究者克里斯托弗·科赫Christof Koch说。“你不能再依赖自己的直觉了；你需要一个基础理论来告诉你意识是什么，它是如何进入这个世界的，以及谁有意识，谁没有意识。”

这里有一个关于意识的试金石测试是如何运作的理论：任何足够聪明的生物，能够成功地应对各种各样的环境和挑战，一定是有意识的。从表面上看，这不是一个荒谬的理论。据我们所知，我们人类拥有最聪明的大脑，而且我们绝对是有意识的。更聪明的动物似乎也更有可能有意识——黑猩猩比螃蟹更有意识，这一共识要广泛得多。

但是意识和智力是不一样的。当Mudrik向她的实验对象闪烁图像时，她并没有要求他们思考任何事情，也没有测试他们解决问题的能力。即使是一只在海底爬行的螃蟹，如果它没有意识到它的过去，也没有想到它的未来，如果它能体验到一小口美味的虾的快乐，或者爪子受伤的痛苦，它仍然是有意识的。

佛罗里达大西洋大学(Florida Atlantic University)未来思维中心(Center for the Future Mind)主任Susan Schneider认为，人工智能可以通过完全放弃意识来达到更高的智力水平。像短期记忆这样的有意识过程是非常有限的——我们一次只能注意到几件事，而且经常很难完成简单的任务，比如记住一个电话号码足够长的时间来打电话。人工智能能从意识中获得什么并不明显，尤其是考虑到这些系统在没有意识的情况下也能取得令人印象深刻的成就。

随着GPT的进一步迭代证明自己越来越智能——越来越有能力满足广泛的需求，从通过律师资格考试到从零开始建立一个网站——它们的成功，就其本身而言，不能被视为它们有意识的证据。即使是一台与人类行为无差别的机器，也不一定能意识到任何事情。

了解人工智能的内部工作方式可能是确定它是否有意识的关键一步。

不过，Schneider并没有对测试失去希望。她与普林斯顿大学物理学家埃Edwin Turner共同制定了她所谓的“人工意识测试”。这并不容易实现：它需要在整个训练过程中将AI代理与任何有关意识的信息隔离开来。(这一点很重要，这样它就不会像LaMDA那样，只是鹦鹉学舌地模仿人类关于意识的陈述。)然后，一旦系统被训练好，测试者就会问它一些问题，这些问题只有在它知道意识的情况下才能回答——这些知识只能从意识本身获得。它能理解电影《恐怖星期五》的情节吗?在电影中，一对母女交换了身体，她们的意识与身体的自我分离了。它是否掌握了做梦的概念——甚至报告做梦本身?它能想象轮回或来世吗?

这种方法有一个很大的限制：它需要语言能力。人们普遍认为人类婴儿和狗都是有意识的，但它们不可能通过这项测试，而人工智能完全可以不使用语言就变得有意识。让像GPT这样基于语言的AI进行测试同样是不可能的，因为它在训练中已经暴露于意识的概念。(请ChatGPT解释一下《奇葩星期五》——它做得很不错。)因为我们对先进的人工智能系统的工作原理仍然知之甚少，所以要完全保护人工智能免受这种暴露是很困难的，如果不是不可能的话。我们的语言充满了我们意识的事实——像“思想”、“灵魂”和“自我”这样的词，由于我们的意识经验，对我们来说是有意义的。谁能说一个非常聪明、无意识的人工智能系统不能发现这一点呢?

如果Schneider的测试不是万无一失的，那就剩下一个选择：打开机器。如果你知道如何解释你所看到的东西，那么了解人工智能的内部工作方式可能是确定它是否有意识的关键一步。这样做需要一个好的意识理论。

几十年前，我们可能完全迷失了方向。唯一可用的理论来自哲学，而且不清楚如何将它们应用于物理系统。但从那以后，像Koch和Mudrik这样的研究人员帮助发展和完善了许多想法，这些想法可能被证明是理解人工意识的有用指南。

人们提出了许多理论，但没有一个得到证实，甚至没有一个被认为是领先的。他们对人工智能意识做出了截然不同的预测。

一些理论将意识视为大脑软件的一个特征：重要的是大脑以正确的方式完成正确的工作。例如，根据全局工作空间理论（global workspace theory），如果系统拥有必要的体系结构，那么它们就是有意识的：各种独立的模块，加上一个“全局工作空间”，它从这些模块中接收信息，并选择其中一些信息在整个系统中传播。

其他理论则更直接地将意识与物理硬件联系起来。综合信息理论提出，一个系统的意识依赖于其物理结构的特定细节——具体来说，它的物理组成部分的当前状态如何影响它们的未来，并表明它们的过去。根据印度理工学院（IIT）的说法，传统的计算机系统，以及当今的人工智能，永远不可能有意识——它们没有正确的因果结构。(这一理论最近受到了一些研究人员的批评，他们认为它受到了过度的关注。)

苏塞克斯大学(University of Sussex)神经科学教授Anil Seth更赞同基于硬件的理论，主要原因之一是：他认为生物学很重要。我们所知道的每一个有意识的生物都会分解有机分子以获取能量，努力维持稳定的内部环境，并通过化学和电信号的组合通过神经元网络处理信息。一些科学家认为，如果所有有意识的生物都是如此，那么怀疑这些特征中的任何一个，甚至所有特征都可能是意识所必需的，这并不牵强。

Seth说，因为他认为生物学对意识非常重要，所以他花了更多的时间担心大脑类器官(在培养皿中生长的神经组织块)产生意识的可能性，而不是人工智能。“问题是，我们不知道我是否正确，”他说。“我很可能错了。”

持这种态度的不止他一个人。每个专家都有自己偏爱的意识理论，但没有人把它当作意识形态——他们都永远警惕自己可能选错了人。在过去的五年里，意识科学家们开始在一系列“对抗性合作”上合作，不同理论的支持者聚集在一起设计神经科学实验，帮助他们相互测试。研究人员事先就哪种结果模式支持哪种理论达成一致。然后他们进行实验，看看会发生什么。

今年6月，Mudrik、Koch、Chalmers和一大群合作者发布了一项对抗性合作的结果，将全球工作空间理论与综合信息理论对立起来。这两种理论都没有完全胜出。但Mudrik说，这个过程仍然是富有成效的：迫使每个理论的支持者做出具体的预测，有助于使理论本身更加精确和科学有用。“它们都是正在发展的理论，”她说。

与此同时，Mudrik一直在试图弄清楚这种理论的多样性对人工智能意味着什么。她正在与一个由哲学家、计算机科学家和神经科学家组成的跨学科团队合作，该团队最近发布了一份白皮书，就检测人工智能意识提出了一些实用建议。在论文中，研究小组利用各种理论来构建一种意识“成绩单”——在假设其中一个理论是正确的情况下，一系列标记可以表明人工智能是有意识的。这些标志包括具有一定的反馈连接，使用全局工作空间，灵活地追求目标，以及与外部环境(无论是真实的还是虚拟的)进行交互。

实际上，这一策略承认意识的主要理论有可能被证明是正确的——因此，如果更多的理论认为人工智能是有意识的，那么它就更有可能是有意识的。出于同样的原因，一个缺乏所有这些标记的系统只有在我们目前的理论大错特错的情况下才会有意识。这就是像LaMDA这样的LLM目前所处的境地：它们不具备正确类型的反馈连接，使用全局工作空间，或者似乎有任何其他意识标志。

然而，意识委员会的问题在于，这种状况不会持续下去。根据白皮书作者的说法，构建在意识成绩单上得分很高的人工智能系统没有重大的技术障碍。很快，我们就会直接面对科幻小说里的问题:我们应该如何对待一台可能具有意识的机器?

1989年，在意识神经科学真正成熟的几年前，《星际迷航：下一代》播出了一集，名为“The Measure Of A Man”。这一集的主角是一个名叫Data的机器人，他在大部分时间里都在努力解决自己饱受争议的人性问题。在这一集里，一位科学家想强行拆解Data，以弄清楚他是如何工作的；Data,，担心拆解会杀死他，拒绝了；Data的船长，Picard，必须在法庭上捍卫他拒绝程序的权利。

从未证明Data是有意识的。相反，他证明了没有人能反驳Data是有意识的，因此伤害Data的风险，以及可能导致继他之后的机器人沦为奴隶的风险，太大了，无法容忍。对于有问题的人工智能意识的难题，这是一个诱人的解决方案:对待任何潜在的有意识系统，就好像它是真正有意识的一样，避免伤害一个真正受苦的生物的风险。

把Data当作一个人来对待很简单：他可以很容易地表达他的愿望和需求，而这些愿望和需求往往与他的人类船员的愿望和需求大致相似。但旧金山人工智能安全中心(Center for AI Safety)的哲学研究员、白皮书的主要作者之一Robert Long表示，保护现实世界的人工智能免受痛苦可能要困难得多。他说:“对于动物来说，有一个方便的属性，它们基本上和我们想要的东西是一样的。”“在人工智能的情况下，很难知道这是什么。”保护AI不仅需要AI意识理论，还需要AI快乐与痛苦理论，AI欲望与恐惧理论。

“对于动物来说，有一个方便的属性，它们基本上和我们想要同样的东西。在人工智能的情况下，很难知道这是什么。”——Robert Long，旧金山人工智能安全中心哲学研究员

这种方法并非没有成本。在《星际迷航》中，想要分解Data的科学家希望制造出更多像他这样的机器人，这些机器人可能会代替其他人员执行危险的任务。对于观众来说，他们认为Data是一个有意识的角色，就像节目中的其他人一样，这个提议是可怕的。但如果Data只是一个令人信服的人类模拟物，那么让一个人在他的位置上面临危险是不合情理的。

照顾他人意味着保护他们免受伤害，这就限制了人类在道德上的选择。“我并不担心我们过于关心动物的情况，”Long说。结束工厂化养殖并没有什么负面影响。“但对于人工智能系统，”他补充说，“我认为，如果我们过度赋予意识属性，真的会有很多危险。”人工智能系统可能会出现故障，需要关闭；它们可能需要经过严格的安全测试。如果AI是无生命的，这些都是很容易做出的决定，而如果必须考虑AI的需求，这些决定就会陷入哲学泥潭。

Seth认为，至少在可预见的未来，有意识的人工智能相对不太可能出现，但他仍然担心人工智能意识的可能性对人类的情感意味着什么。他说:“这将改变我们分配有限资源的方式。”这似乎是未来的问题。但人工智能意识的感知现在与我们在一起：Blake Lemoine为一个他认为有意识的人工智能承担了个人风险，他失去了工作。还有多少人会为了毫无生气的电脑系统而牺牲时间、金钱和人际关系?

即使是最简单的聊天机器人也能发挥不可思议的作用：一个名为ELIZA的简单程序，创建于20世纪60年代，用于模拟谈话治疗，让许多用户相信它能够感知和理解。意识的感知和意识的现实是不一致的，随着人工智能系统能够参与更现实的对话，这种差异只会恶化。Seth说:：“我们将无法避免将它们视为有意识的体验，就像某些视觉错觉对我们来说是认知上无法理解的一样。”就像知道Müller-Lyer错觉中的两条线长度完全相同，并不能阻止我们认为其中一条比另一条短一样，知道GPT不是有意识的，也不会改变你正在与一个有洞察、观点和个性的生物交谈的错觉。

2015年，在这些担忧成为主流的数年前，哲学家Eric Schwitzgebel和Mara Garza提出了一系列旨在防范此类风险的建议。他们的建议之一，被他们称为“情感一致性设计政策”（Emotional Alignment Design Policy），认为任何无意识的人工智能都应该故意设计，这样用户就不会相信它是有意识的。公司已经朝着这个方向迈出了一小步——如果你问Chatgpt它是否有意识，它会给出一个硬编码的否认。但这样的反应对破坏整体错觉作用不大。

是加州大学河滨分校(University of California, Riverside)的哲学教授，他希望避开任何模棱两可的说法。在他们2015年的论文中，他和Garza还提出了他们的“排除中间政策”——如果不清楚人工智能系统是否有意识，那么就不应该建立这个系统。在实践中，这意味着所有相关专家必须同意，未来的人工智能很可能没有意识(他们对当前LLM的判断)，或者很可能有意识。“我们不想让人们感到困惑，”施维茨格贝尔说。

避开有争议的意识灰色地带，既可以避免伤害有意识的人工智能的风险，也可以避免将没有生命的机器视为有意识的机器。问题是，这样做可能并不现实。许多研究人员——比如法国国家科学研究中心(Centre national de la Recherche Scientifique)的研究主任Rufin VanRullen，他最近获得了一笔资金，用于构建一个具有全球工作空间的人工智能——现在正积极致力于赋予人工智能意识的潜在基础。

说，暂停建立潜在有意识系统的缺点是，像他试图创造的系统可能比目前的人工智能更有效。“每当我们对目前的人工智能表现感到失望时，总是因为它落后于大脑的能力，”他说。“所以，我的目标不一定是创造一个有意识的人工智能，而是目前人工智能领域许多人的目标是朝着这些高级推理能力迈进。”这种先进的能力可能会带来真正的好处：人工智能设计的药物已经在临床试验中进行测试。灰色地带的人工智能可以拯救生命，这并非不可思议。

对有意识的人工智能的风险很敏感——他曾与Long和Mudrik一起撰写了关于在机器中检测意识的白皮书。但他说，正是这些风险让他的研究变得重要。很有可能有意识的人工智能不会首先出现在像他自己这样一个可见的、公共资助的项目中；它很可能需要像谷歌或OpenAI这样财力雄厚的公司。说，这些公司不太可能欢迎有意识的系统带来的道德困境。“这是否意味着当它在实验室发生时，他们就假装没有发生过?”这是否意味着我们不会知道这件事?他说。“我觉得这很令人担忧。”

他说，像他这样的学者可以通过更好地理解人类和机器的意识本身是如何运作的，来帮助减轻这种风险。这些知识可以让监管机构更有效地监管那些最有可能开始涉足人工智能创造的公司。我们对意识的了解越多，这个不稳定的灰色地带就越小，我们就越有机会知道我们是否在其中。

就Schwitzgebel而言，他宁愿我们完全避开灰色地带。但考虑到所涉及的不确定性，他承认这种希望可能是不现实的——特别是如果有意识的人工智能最终有利可图的话。一旦我们进入灰色地带——一旦我们需要认真对待有争议的有意识生物的利益——我们将在更加困难的地形上航行，与前所未有的复杂道德问题作斗争，却没有一个清晰的路线图来解决它们。这取决于研究人员，从哲学家到神经科学家再到计算机科学家，来承担绘制这张地图的艰巨任务。

BY/ Grace Huckinsarchive，a science writer based in San Francisco，

原文/《Minds of machines: The great AI consciousness conundrum》

机器思想 AI意识难题 ChatGPT

佚名

原创栏目