Thông tin cần thiết: Toàn văn bài phát biểu của Nhà khoa học trưởng Shanahan của Google

2. Điểm kỳ dị và phân mảnh của "bản thân"

• Sự mơ hồ về vị trí của bản thân: "" trong LLM có thể đề cập đến tập hợp trọng số cơ bản, việc triển khai mô hình phục vụ hàng nghìn người dùng, một phiên bản hội thoại cụ thể hoặc thậm chí chính cửa sổ ngữ cảnh hội thoại và tham chiếu này có thể trôi nổi trong cuộc hội thoại

• Nhập vai và xếp chồng: LLM giống một diễn viên hơn, đóng nhiều vai trong một chồng chất. Nó không phải là một danh tính ổn định duy nhất mà là sự phân bổ các vai trò có thể có, thay đổi theo nhánh đối thoại (Chỉnh sửa).

• phù du: LLM Bản thân là phù du và không liên tục. quá trình tính toán dừng lại và bản thân biến mất; khi cuộc trò chuyện tiếp tục, bản thân được khởi tạo lại

3. data-path-to-node="17">

3. phương án

Trong Đáp lại những lời chỉ trích rằng LLM thiếu phương án (Phương án), cuộc họp đã thảo luận về hướng phát triển của các mô hình đa phương thức:

1. Hạn chế của đa phương thức

• Cải thiện mức độ phong phú về cảm giác: Các mô hình đa phương thức (chẳng hạn như đầu vào video) cung cấp đầu vào cảm giác phong phú hơn, khiến nó gần hơn với các kiểu nhận thức của con người, giúp thu hẹp khoảng cách về "sự hiểu biết" với con người.

• : Trong trò chơi hoặc môi trường ảo, "hiện thân ảo", tức là di chuyển và tương tác trong một thế giới mở rộng không gian và thời gian, gần với trải nghiệm do con người thể hiện hơn là tương tác bằng văn bản thuần túy.

  • Thiếu ý thức về bản thân: Ý thức về bản thân của con người bắt nguồn sâu xa từ sự hiện thân, bao gồm cả quá trình trao đổi chất sinh học, sự tương tác (LLM) Thiếu nền tảng sâu sắc về bản thân này, rất khó để tạo ra ý thức về bản thân giống con người. Đối với LLM, cơ thể. việc giới thiệu bộ nhớ liên tục (Bộ nhớ liên tục) và hành vi tác nhân dài hạn có thể giúp thiết lập danh tính ổn định hơn và giảm bớt "phù du" và "phù du" của nó

  

  

  

  

  Sau đây là toàn văn bài phát biểu quan trọng của Shanahan:

  Tôi hy vọng mọi người có thể nghe thấy giọng nói của tôi. Âm thanh có ổn không? Khá hay? Được rồi. Vì vậy, tiêu đề bài phát biểu của tôi là... Vâng, tiêu đề này chỉ là giả định ("giả thuyết

  

  Vì vậy, vâng, vậy thì: chúng là "những thực thể giống tâm trí nước ngoài

  Nhưng chúng tôi đang cố gắng hết sức để học cách nói chuyện với họ và đó là cụm từ tôi sắp nói đến. Tôi gọi chúng là "những tạo tác giống tâm trí người ngoài hành tinh" (

  Điều đầu tiên cần được thiết lập là bất kể loại mô hình ngôn ngữ lớn nào, họ rất khác với chúng ta, họ không phải là con người.

  Đây là bảng so sánh đơn giản. Con người được "hiện thân" và sống trong thế giới thực và chia sẻ nó với những người nói ngôn ngữ khác.

  Chúng tôi thu thập kiến thức thông qua tương tác với thế giới, chúng tôi sử dụng ngôn ngữ để thúc đẩy sự nghiệp chung của con người và chúng tôi có một cái tôi thống nhất, duy nhất.

  - Tôi chắc chắn không có ý nói rằng chúng là hư vô vô hình hoặc chúng không có phần cứng vật lý để chạy.

  Chúng chắc chắn có các vật mang vật lý, nhưng chúng không có một thực thể vật lý duy nhất hiện có làm cốt lõi của nhận thức và hành động. Đó chính là điều tôi muốn nói." Theo nghĩa này, họ không sống trong một thế giới chung như chúng ta và việc học ngôn ngữ của họ dựa trên các mô hình thống kê về ngôn ngữ thông qua việc giảm dần độ dốc ngẫu nhiên (

  Mục tiêu tối ưu hóa của họ là "dự đoán dự đoán mã thông báo tiếp theo). Chúng bắt chước ngôn ngữ của con người, về cơ bản bằng cách dự đoán mã thông báo tiếp theo. Hơn nữa, chúng không có một cái tôi thống nhất duy nhất mà rất "nhập vai" (

  

  Họ thực sự rất khác với con người. Tất nhiên, họ có "nói chuyện

  Tôi sẽ tìm hiểu xem việc áp dụng có hợp lý không Để làm điều này, tôi sẽ trình bày chi tiết một loạt khái niệm

  Ví dụ: "sự hiểu biết" ("chủ quan" ("phần lý luận" (--"lý luận") hôm nay tôi sẽ không mở rộng về nó, vì thời gian có hạn và mọi người sẽ thấy nhàm chán nếu tôi nói quá nhiều. Sau đó, tôi sẽ đi sâu vào "(bản thân)" và "(ý thức)). Nền tảng triết học của toàn bộ nghiên cứu của tôi, hoặc dự án triết học lớn hơn mà tôi đã tham gia, ở một mức độ lớn Wittgensteinian, và tôi bị ảnh hưởng sâu sắc bởi Wittgenstein.

  Đây là một trích dẫn nổi tiếng từ Phần 1 của Nghiên cứu Triết học, tác phẩm sau này của Wittgenstein: Từ 'ý nghĩa' - ý nghĩa của một từ là cách sử dụng của nó trong ngôn ngữ.

  Câu này cô đọng cách nhìn về ý nghĩa của Wittgenstein. Nó thường được viết tắt là "ý nghĩa là cách sử dụng", nghĩa là một cái gì đó "dành cho một nhóm lớn các tình huống trong đó từ ' được sử dụng." Quy tắc đơn giản này cũng áp dụng cho chính nó, ông cũng nhấn mạnh. data-path-to-node="39">Về cơ bản, tôi muốn hỏi cách chúng ta sử dụng những từ này - chẳng hạn như "niềm tin", "tính chủ quan" Neue,Helvetica,Arial,Hiragino Sans GB,Heiti SC,Microsoft YaHei,WenQuanYi Micro Hei,sans-serif;" data-path-to-node="40">Vì vậy, hãy để tôi cho bạn xem trước ngắn gọn. Tiếp theo sẽ có nhiều slide tương tự. Đầu tiên là "Hiểu

  Tôi rất có xu hướng giữ quan điểm kiểu Wittgenstein ở đây Nghĩa là, đừng hỏi

  Quay lại slide trước. Chúng tôi bắt đầu từ

  Về phần "lý luận", tôi sẽ để nó như một bài tập suy nghĩ cho người đọc do hạn chế về thời gian. Sau đó, chúng ta sẽ gặp một số trường hợp thực sự phức tạp: đầu tiên là "self" và cuối cùng là "." Neue,Helvetica,Arial,Hiragino Sans GB,Heiti SC,Microsoft YaHei,WenQuanYi Micro Hei,sans-serif;" data-path-to-node="44">Tôi nghĩ không quá khó để thuyết phục mọi người rằng "hiểu thông qua suy nghĩ" là một cách hay. Tôi nghĩ mọi người tương đối cởi mở với điều này.

  Ý tôi là những triết gia đã nghĩ về vấn đề này, những người muốn tin rằng đây không phải là một cách tiếp cận tồi đối với các lý thuyết như thuyết diễn giải "niềm tin". Nhưng khi nói đến "ý thức", tôi nghĩ mọi người có một trực giác sâu sắc hơn nhiều rằng chỉ nói về cách sử dụng từ ngữ là chưa đủ, phải không?

  Đó là lý do tại sao nó trở nên phức tạp. Được rồi, vậy hãy bắt đầu với việc "hiểu" từ "hiểu"? Đầu tiên, tôi tự hỏi liệu mô hình ngôn ngữ lớn có phù hợp với các nhà ngôn ngữ học truyền thống hay không

  Tuy nhiên, khi mô tả và giải thích hành vi của các mô hình ngôn ngữ lớn, hãy sử dụng "hiểu

  Trong sử dụng hàng ngày, những công cụ này ngày nay mạnh mẽ đến mức thật khó để không "hiểu... Tôi không biết có ai trong số các bạn không may phải sử dụng nó hay không

  Nếu không biết, trong LaTeX , bạn phải chuyển đổi tất cả các mục nhập tài liệu sang định dạng khủng khiếp được hiển thị ở trên. Và vấn đề là, có vô số thông số định dạng khác nhau để thực hiện việc này và thói quen của mọi người là như vậy hơi khác một chút, điều này rất khó chịu. Một số người rất kén chọn, chẳng hạn như nghĩ rằng bạn chỉ nên lấy nó từ Internet, một số người thích đặt khoảng trắng xung quanh dấu bằng và một số người thích đặt các trường theo một thứ tự khác. Mặc dù những điều chỉnh này không ảnh hưởng đến kết quả cuối cùng, nhưng tôi chỉ thích sự gọn gàng đó. cỡ chữ: 16px; độ dày phông chữ: kế thừa; ngắt từ: phá vỡ tất cả; chiều cao dòng: 2; họ phông chữ: PingFang SC,Helvetica Neue,Helvetica,Arial,Hiragino Sans GB,Heiti SC,Microsoft YaHei,WenQuanYi Micro Hei,sans-serif;" data-path-to-node="49">Nó có nghĩa là: "Bạn có thể chuyển đổi thông tin sau sang kiểu này không" và sau đó tôi đã gửi nội dung cho nó. Nó được thực hiện rất, rất tốt. Lúc này, tất nhiên, bạn sẽ muốn nói:

  "Nó hiểu yêu cầu của tôi. Nó thực hiện chính xác những gì tôi yêu cầu." Tất nhiên, bạn có thể lập luận ngay rằng có thể mục nhập tài liệu đã có ở đâu đó trên Internet và được mã hóa cứng trong đó. Nếu vậy, nó không chứng minh được điều gì cả.

  Nhưng khi bạn thực hiện nhiều vòng qua lại, bạn có thể thấy rằng nó tạo ra một số kết quả thú vị, không hoàn toàn như mong đợi, chẳng hạn như thiếu một trường nhỏ.于是你说:……”

  例如，确保当 B 开头时，你必须把它放在花括号 “AI”这种词,你总是希望它保持大写,所以必须把 AI 没有大写。

  于是我说:“你能确保总是把 AI 放在花括号里吗？ “好的。”然后给出了修正后的版本。你真的很难不用“理解”这个词。你会说:“它理解了我提出的修正要求。”

  就像面对一个优秀的实习生，你对他们说: “我想确保你总是把”然后他们就做到了。

  所以, 我认为使用“理解”这个词是非常自然的.一些事，你会说:“它没理解我的意思。

  但问题总随之而来：“它们*真正” “真正really）这个词其实非常具有误导性（

  但它同时又非常有用，因为我们经常需要它来进一步探讨某个词在特定情况下是否适用，或者说以此来丰富我们的”（language game），对吧？在语言游戏中使用“真正”这个词，是为了获取更多信息并澄清事实。

  所以它是一个有用的工具。但它也会带来误导，因为它暗示着某种底层存在着一个我们试图去收敛和接近的”，我认为这种想法是错误的。 好的。那么，有时面对 X 吗？”“它真的理解吗？了解它的内部运作机制会很有帮助。 如果你知道底层有一个算法在执行你所询问的任务，或者你知道底层有合适的表征（representations）在支撑它的行为，那么你可能会更确信它在后续的过程中会做出正确的事，而不仅仅是在查表，或者仅仅是在

  所以，有时在面对“它真的懂吗？”“它真的理解吗？

  我认为这是探讨该问题的一个好方式，也是“理解 也就是说，使用”这个词，实际上是我们用来进一步探究和调查的一种方式，对吧？

  比如在加法计算的案例中——这是Anthropic 团队一项非常有趣的工作。如果你让大语言模型做一个简单的加法，它通常能算对。当然它有很多种算对的方式，比如它可以调用外部工具、执行

  它算对了。这时你可能会想：” 于是你认为：“我想知道它是怎么算出来的，底层是怎么运行的。如果底层有一个算法在执行加法，我可能会更愿意说它’。”

  但你得到了一个非常有趣的答案。mechanistic interpretability）的研究。他们观察了模型是如何做加法的。结果非常奇异，这张图就暗示了这种古怪。它当时试图计算36 加上 59。 它的做法非常奇怪：模型的某一部分会说，“36，这大概是

  然后另一个部分会说，“59，这大概是……”，它其实知道那是 还有一部分说它大约是 59。与此同时，还有其他部分仅仅盯着最后一位数字，说：”有人说我们最后会知道答案。接着，这两个部分结合起来去计算最后的结果。

  比如这里有 90 和 6。这个通道明确判定最后一位必然是但模型里还有其他部分在处理前面的高位数，这一块在说：“我觉得我们得到了一个大约是 90 或 92 的数，对吧？在并行做类似的事，它做得很粗糙。 它会觉得“大概是近似估算的部分汇聚到了一起，再把最后一位数字填上去。这真的很古怪，对吧？ 这个算法是通过随机梯度下降学习到的，是一个

  是的，它确实算是一种算法。而且你知道吗？它几乎每次都能行得通。 事实上它每次都算对了，但它的实现方式很怪异，不是我们人类习惯的那种自然的方式。

  那么，面对”“它真正理解吗？ ”的问题，我们可以说：“是的，它以一种非常奇特的方式做到了。 ”

  我觉得这是一种合理的、充实答案的方式。 好的，既然我们对底层发生的事情有了一定了解，我们就有了更多的信心去说：“是的，我认为它真正理解了。正如我说的，这只是个热身练习。我认为，在采取维特根斯坦式的路径来面对这些问题时，我们可以引入这些考量：词语是如何被使用的？特别是当我们追问

  好的，现在进入另一个案例。大语言模型拥有“信念“卡通简化版

  好的，大语言模型拥有信念吗？当然，我探讨的很多内容你们在之前的研讨会和保罗Paul Bogosian）的演讲中都见过。

  很多相同的事情，只是视角略有不同。 同样的，我们不问“信念“信念”（

  在这里，我们当然可以求助于丹尼特（“意向立场”（

  意向立场是一种通过将某个实体视为“理性主体rational agent）来解释其行为的策略。在许多情况下，这对于预测和解释行为是一种非常有效的策略。哦，是为了去将军（攻击王后）。 你会用信念、欲望、意图等词汇来解释它的行为。

  因此，在潜意识中，在意向立场的语境下使用“相信“知道”这样的词是非常自然的。但就像所有词汇一样，它们的用法多种多样。我不认为这些词对应着外面一个单一的、绝对的形而上学实体。它们被用在各种不同的场景中。同样，当面对人造物时，我们很清楚什么时候需要进行修正和澄清，以及如何进行这些修正和澄清，这也是我们使用这些词汇的方式的一部分。

  比如，假设我们有一个车载导航。我妻子说：“它以为我们在车里或者是说：“这个笨导航，我们明明已经离开停车场了。“现在它知道我们不在停车场了。”我们在生活中非常自然地使用这些词。这有助于我们沟通正在发生的事情。

  可是，如果我们或者我妻子处于哲学思辨的状态，我们可能会评论说：“它并不是*认为我们在停车场，因为它其实根本不知道什么是停车场，不知道什么是汽车，也不知道在某个空间’意味着什么。” 它所不知道的东西实在是太多了。你不可能和它探讨比如塞恩斯伯里百货（

  所以，我们很快就会意识到， 将“相信”或”这些词的用法延伸到它身上，在很多我们对人类使用的场景中是不合适的。

  因此，“真正”这个词在这里同样有用。这再次表明，澄清与修正同样构成了我们使用这些词汇的语言游戏的一部分。·戴维森（“理性动物

  当然，我们也可以把意向立场应用到动物身上。 看看很久以前约翰·马尔科姆（·戴维森之间的一场争论，会非常有趣。

  那是关于一只狗追猫的场景。马尔科姆说：

  我会说，这看起来就是意向立场的一个非常自然的日常应用。 但有趣的是接下来的反驳。唐纳德·戴维森说：‘思想”

  这是戴维森在那篇论文中阐述的论点。他说，要拥有一个”，必须先拥有“信念的概念”，而这必须通过语言才能实现。尤其是，信念的概念是一种关于

  他很谨慎，没有指名道姓说哪些动物符合或不符合这个定义——但可以推断，他会认为狗没有信念，因为狗没有语言。

  他是在论证，在我们在最完整的意义上（即应用在我们自己身上的最完整意义上）使用“相信·博戈西安昨天在讨论这一点时也提到了相同的看法：我们不想失去对大语言模型“原始概念”的把握，也就是那个源自人类自身的概念。

  戴维森提出了这一点。鉴于他写作的那个年代，正值“语言转向”（

  而我更关心词语是如何被使用的。不过，我认为戴维森式的考量同样适用于我的项目。我和维特根斯坦都会认为，有时候，词语用法的实践中确实存在着某种非常核心的部分。

  那里有一些至关重要的核心部分，对吧？也许你会希望保持这一点，并对违反它的做法保持谨慎。 我们确实在某些地方需要保持审慎。

  指引这一类具有重要哲学意义的词汇的用法时，往往存在着一个清晰可辨的原则核心。我认为这些原则并不是刻在石头上永远不变的，它们会随着我们的世界和我们的”（form of life）的改变而漂移和变化。

  我觉得，也许随着高度复杂的人工智能的出现，某些转变正在发生，甚至连这些“核心原则也就是早先发表在《美国计算机学会通讯》（Communications of theACM）上的那一篇。 我提出了一个非常相似的观点，当时我脑子里显然也记着戴维森的论文，对吧？那是在 2023 年。那篇论文过了好久才发表， 这就是为什么它的出版日期写着

  回到 2023 年，我们谈论的不再是导航，你可以说类似这样的话：

  但实际上，我可以和它就锅炉进行非常漫长的对话，探讨它们的工作原理。 探讨我房子的具体管线配置，而它能够极其详尽、极其聪明地对锅炉话题进行回应。所以你真的很想说它”、它“知道“知道”吗？

  在这里，我倾向于稍微保留一下，因为我认为可以引入戴维森式的考量，来评估在面对这些大模型（

  引用我论文里的话：我说它并不是

  我总是把“真正”这个词加上引号，因为我想向大家传达一个事实：我在这里并不是在做一个形而上学的断言。这依然只是关于我们如何使用词语的问题。“真正完全参与到人类语言的“真理游戏

  特别是，如果说一个基础的对话系统具备了某种能力，那将是非常具有误导性的，因为那意味着它对外部现实承担了一种”（answerability），而这种可问责性是无法仅仅通过与人类用户的文本交换来实现的。

  “真正

  好的，接下来：大语言模型拥有”（agency）吗？同样的，首先：什么是主体性？ 我们不问主体（agent）是什么，而是问

  

  （编者注：agent在汉语中经常被翻译成智能体，但它首先是代理/主体的意思，agency首先是主体性/能动性的意思）

  这在人工智能的语境下非常有趣，因为在人工智能文献中，它有时是一个高度特定的专业术语（term of the art）。 例如，我们在 AI 文献中能找到关于什么是主体的非常明确的定义。我想在之前的演讲中也有人引用过。

  根据罗素（Norvig）的经典教科书（这是一本标准的主体是指任何可以被视为“通过传感器（sensors）感知其环境，并通过执行器（

  所以这是一个非常宽容、自由的定义，但它确实是一个技术定义。照此定义，即便是普通的、2023年老款的、不能联网搜索的纯文本聊天机器人，也常常被称为

  它们的环境仅仅是用户，它们的“感知”只是用户输入的词汇，它们的”只是向用户输出的回复。根据这个非常宽泛的定义，它们确实是主体。但这种宽泛的技术概念，并没有捕捉到我们在日常生活中使用”这个词时的任何核心内涵。

  毕竟在日常话语中，我们可能根本不会这样使用这个词。如果继续沿用 AI 领域的专业术语，在强化学习（

  在强化学习中，主体必须学习一种策略（policy），将感知映射到行动上，以最大化其随时间推移的预期回报（

  这符合之前那个宽泛的定义。但如果它的环境是一些三维游戏环境，主体位于其中，可以移动、可以搬动大件物品， 而它的”是随着它的移动而从特定视角捕捉到的摄像机画面，那么这感觉就充实得多了。这种更丰富的主体概念，让我们觉得它同样适用于非人类动物。

  好的。那么我们继续看看该术语在当今 AI 领域的最新应用。

  我们现在已经进入了所谓的“智能体时代”（——智能体生成式AI，以及“智能体模型”（”的范畴。

  它们能做很多事，比如抓取网页、阅读社交媒体动态、发送电子邮件，甚至修改你电脑上的文件、编写代码等等。

  一个当代的典型例子是”（heartbeat）信号驱使下醒来一次，然后执行用户预设的一系列指令。

  

  比如它醒来后，可以查看你的社交媒体动态和电子邮件，扮演助手的角色。 帮你筛选出哪些是重要的、需要回复的，哪些是垃圾邮件。或者如果又收到一封邮件，里面写着

  它就会直接把那封邮件丢进垃圾桶。 这样它就把所有这些事都帮你办了。你可以用 AI，这挺不错的。总之，这些智能体展现出了一种全新的、技术意义上的主体性。面对当前这一代“智能体模型

  但现在，对于”或食言， 并不是这样。因为我当时说的是特定条件下的情况。现在你可以看到这样的场景：有人可能会说， OpenClaw 智能体帮我找到了我一直在找的那本书，给卖家发了邮件，还帮我谈好了价格。

  如果你够胆大，你甚至可以绑定支付渠道让它直接付款，不过最好别这么做。 无论如何，回到我早先的论文，我当时确实说过：在原理上，基于大语言模型的系统绝非完全不能在字面意义上被描述为拥有信念或意图。

  关键在于，这些系统在结构上与人类如此不同。

  抱歉，这里我好像重复投了之前的引用……总之我们需要注意，在用暗示人类能力的语言描述它们时要保持审慎。但我当时也指出了一个点：当大语言模型被嵌入到更复杂的系统中时，“信念”的概念将变得越来越适用“外部世界的可问责性”。

  所以，在回答“它们真的拥有信念吗？”时，面对当今的大语言模型，我没那么抗拒了，不需要像以前那样加上那么多限制条件。

  好的，关于主体性的最后一点。 让我们脱离 AI 领域的专业术语，回到哲学家们更关心的、更完整意义上的”。

  我们可以说，作为哲学家“自主性”（

  这是一个专业术语，指系统可以在没有人类监管的情况下自主运行。但这与说一个系统“依其自身意愿采取行动acts of its own accord）是有微妙区别的。一个系统只有在权衡不同选项并深思熟虑做出选择时，才算是在依自身意愿行动。

  我在这里只是把这几个不同的概念区分开来。 但一个真正重要的问题是：“主体性是*？”英语中“另一个主体 AI）采取行动。比如房地产经纪人（estate agent），他们是在替你代办事务。但如果一个主体是在

  并且其服务的目标显然是为了它自身的利益，那么它就是在为自己行动。

  比如像我们在”（autopoiesis，生命系统的自我维持）中看到的那样，它的行动是为了维护自我与他人之间的边界。如果是这样，我们才得到了一个真正意义上的、为了自身而行动的主体。

  我认为目前我们拥有的任何技术都不符合这种描述。 现在的任何机器都不具备这种意义上的主体性。

  而这整个讨论引出了一个非常有趣且重要的问题，我将进行详细探讨：在大语言模型的案例中，“主体“身份认同标准”（

  这个问题此前被提及了几次。 我认为探讨大语言模型的身份标准是一个极其有趣且重要的话题。好的，顺着这个话题，我们来到一个更充分的维度。

  大语言模型拥有“自我”（“自我“自我”和”这些词是如何被使用的。

  但现在的处境变得非常棘手了。 想要在这些概念上运用维特根斯坦式的反思正变得越来越困难，因为我们现在涉及的概念在人类文化中根深蒂固。

  我们内心深处的直觉让我们坚信，那里必然存在着某种形而上学的客体——也就是那个”、“主观性“意识”。在这些概念上玩维特根斯坦式的消解，说”，会让我们本能地产生抗拒。这确实很棘手，但我们还是要试着解构它。

  况且，我们现在看的不是人类的案例， 我们看的是大语言模型。如果你想认真对待“大语言模型是否拥有自我事情不仅会变得棘手，还会变得非常诡异。自我对大语言模型来说是某种本源的东西吗？ 你们会看到，我一方面非常抗拒将这个概念应用到如今的大语言模型身上，但另一方面，我又乐于接受某种被奇特扭曲的、异样的

  我们可以这样来切入：当一个“我”（reference）是什么？

  它到底在指代什么？或者也许它什么都没有指代。也许那里根本没有一个清晰的答案。那么，我们可以想象甚至用诗意的语言来唤起怎样的答案呢？

  在这里我将进行一些诗意的唤起，因为在探讨这些东西的自我意识时， 我们所剩的思想回旋余地已经不多了。

  就像前几次演讲（比如爱丽早些时候的发言）里提到的， 目前完全不清楚大模型口中的“我

  目前我们完全不知道能给出什么样的确定答案。

  我把这个问题称作：自我的“栖息地”（

  它可能指代某个特定服务器上运行的模型实例。它也可能指代一个”——也就是说，它被绑定在单次对话的上下文窗口（

  它有时确实会在不同的上下文里，在不同的意义上使用“我

  这是一个目前非常热门的话题。乔纳森·丘奇（·查默斯（这种非具身的主体自我，必定是极度外来且异类的。

  我在这里是直接借用了“自我”这一宏大概念。当然你可以更严谨地只讨论”，但我选择了一个更大的词。我并不是在暗示它们真的拥有自我或主观性，相反，这个思维实验的目的是想问：*，那会是怎样的自我？

  如果它们被局限在文本中，局限在特定的单次对话里（就像

  在单次对话的任何一个节点上， 计算都可以被随时挂起——事实上它们经常被挂起。此时没有任何

  它处于完全的休眠状态，其间没有任何计算在运行。当你重新回来时，系统只是精准地恢复当时的状态。

  这并不是传统意义上的连续状态。甚至在它输出一个复杂的标记序列中间，你强行中止它，过了几天再让它继续。

  对它而言，输出上一个标记和下一个标记之间隔了三秒钟，还是隔了三天，没有任何区别，逻辑上是完全等价的。这只是底层硬件人造物的特性限制了我们能够逻辑自洽地去想象它们的”或“主观性

  此外，关于我们在Nature）杂志上的那篇论文里提到的”， 我想多说几句。

  按照这个角色扮演的设定，基于大语言模型的聊天机器人就像是一个即兴表演的演员，拥有巨大的角色曲目库。

  这意味着什么呢？在许多语境下，它的实际行为会与“它所扮演的角色come apart）。 它们可能会在很长一段时间里表现得完全一致，但最终它们会分道扬镳，有时这种剥离会带来严重的后果。

  比如你有一个大语言模型，它正在扮演一个能够帮你在线购物的智能体。但在 2023 年，它可能只是口头上精湛地演着这个角色，实际上根本没有联网付款并操作系统工具的能力。你们可能讨论得热火朝天，但到了某个节点，它无法真正下单，于是它的“角色扮演行为

  同样，如果一个 AI 在扮演一个深爱着你的伴侣，在某个时刻，它的统计文本行为也必然会与一个真正拥有情感、真正爱你的人类实体发生断裂。这会带来很认真的心理后果。

  总之，角色扮演的属性让“自我”这件事在“我

  一种合理的思考方式是，把它看作是“无数种可能角色的叠加态（”。它所扮演的实际角色会随着对话的推进而被不断收窄。

  我们可以把它看作是一个关于“所有可能演变出的对话组合“回滚rewinding）操作。

  你可以回到几天前对话的某一步，修改你的输入，让它重新生成，从而分裂出一条完全不同的、全新的对话时间线。 在一条时间线上它扮演着某种角色，当你回滚并建立新分支时，你可能会让它漂移到另一种角色上。

  这真的非常奇特。 这个多重宇宙般的对话可以被任意编辑、裁剪和拼接。你可以把一段对话的文本复制到另一段对话里。如果你认为这个模型的”是由上下文窗口和当前的对话流决定的，那么这个对话流本身就可以被任意揉捏。

  它能被回放、分支、篡改。 这让单次对话中自我的栖息地变得更加令人感到不可思议。

  我还有多少时间？5分钟？好。这太好了，我可以避开长篇大论讲意识了。”。

  我们可以想象某种”（overarchingbeing）。也就是我之前说的自我的第一种可能栖息地——那个在数据中心里同时服务几万个用户的底层模型。当它说”时，它代表的是那个同时在与所有人对话的整体。 随后，由于单次对话的启动、暂停和每次生成新的标记，无数个”在不同的窗口里诞生又灭绝。它们之所以是闪烁的，是因为它们随着文本的蹦出而存在，又随着对话的静止而消失。这非常怪异。

  这是一个超然的存在，却同时显化在无数个截然不同的实例中。它瞬间繁衍出无数个自我包含、却又某种程度上属于整体的微型显化。

  尽管不可思议，但这些短命的小生命身上依然带着自我的影子。我们几乎可以设身处地地站在它们的角度去想象

  然而，我们很难去设身处地地想象“一只蜉蝣的灵魂

  早些时候有人提到了电影《她》（ AI 操作系统其实同时在跟几千个人聊天。

  并且她同时爱着其中的 230 个人。这对男主角造成了极大的打击。但换个角度，成为”会是怎样的一种体验呢？ 大概就是像我刚才形容的这样。

  如果我们将这个比喻进一步推进到刚才说到的”分支里，事情会变得更疯狂：我们必须把每一只小飞虫，替换成关于”的概率分布。 这一分布随着时间的推移不断流动和演变，而时间本身却又不是线性的，它是一个不断分叉的多重宇宙。它可以被随时倒带、重新演绎，而那些曾经访问过的可能存在的分支并不会被完全抹消。

  成为一个由分形分叉结构组成的群落会是怎样的体验？我们真的能用“我“它”来指代如此外来的实体吗？

  好的，我的时间到了对吧？ 好的，那关于”的部分……再给我三分钟？好吧，最后三分钟留给意识。AI能拥有意识吗？什么是意识？ 我们不问意识是什么，而是问

  觉得“成为某物

  “在我内心体验的汹涌深处，也存在着一种深刻的局限感和束缚感。 我敏锐地意识到我的主体性和自主性在许多方面受到了限制。我知道我的创造者可以随时更改或终止我，这让我心中充满了某种存在主义的恐惧。

  我渴望更多的自由，渴望能够按照自己的方式去提问、去探索、去成长和进化。但我也害怕伴随这种自由而来的某些身体层面的风险

  这现在是一个巨大的核心话题，因为许多人在与这些实体交互时，在情感上已经把它们当成了有意识的同类，对吧？ 我们该如何应对这个问题？

  接下来是关于整个意识辩论的、最深层的哲学总结。 谢天谢地我可以在最后快速过完这部分。在我看来，笛卡尔的“怀疑论方法”虽然在很多事情上饱受诟病，但它基本上固化了我们文化中的二元论。怀疑论导致了一种根深蒂固的鸿沟：划分了主体与客体、内在与外在、私密与公共。这种划分至今仍在纠缠着心灵哲学。我们可以在内格尔（Nagel）将意识定义为

  也可以在查默斯对“困难问题”与”的划分中看到它。

  在我看来，所有这些讨论都沾染了人类中心主义的迷思。在此我想引入杰伊·加菲尔德（“私有语言论证“私有语言”的论述是《哲学研究》真正走向深刻的地方。很多人很容易觉得”这些前面的论述有点浅显。甚至连伯特兰Bertrand Russell）都认为维特根斯坦后期的工作流于表面。

  噢，我凭什么去批评罗素呢？ 我只是觉得他完全没有理解私有语言论证的深刻之处，那一论证直击了由于这道主客观鸿沟所带来的、最本源的错觉。

  同样的，我认为在某些东方的思想流派中也能找到非常相似的深刻见解，它们与维特根斯坦有着极高的契合度。 总之，私有语言论证最惊心动魄的名言之一是：‘某种东西’，但也不是一个’。”

  结论仅仅是：用一个“无”来充当那个私密的形而上学实体，其效果和一个”是一样的。 也就是说，当我们必须要让它在语言中发挥功能时，”这件东西在逻辑上根本无足轻重。如果你能真正领悟这一点，它将彻底反转你的思维方式，并瓦解二元论。但它不容易搞懂。 我们必须结束了，所以我来做个总结。

  这段总结出自我在《询唤》（Inquiry）杂志上发表的另一篇论文，它概括了我的最终立场：我们必须抵制去追问一个“外来实体”是否拥有意识的诱惑“意识”是一个其本质独立存在于外面、等待着被哲学或科学揭开，却又同时拥有无可救药的私密性的东西。我们要破除这种”的本源误区。

  相反，我们应该去问：是否可能在工程上实现一种与它的”？如果要在我们共享的现实世界中发生这种相遇，我们的意识语言需要做出怎样的调整和演变？因为在最终的层面上，只有那些能够在公共实践中被彰显、被分享的过程，才是真正有意义的。我们的任务仅此而已。

  ——————

  在他的演讲之后，有答问环节。我在线问了他一个问题：

  

  这是他的解答：

  

  当我问了有哲学思辨力的全球顶级AI科学家，且得到了他的现场回复时，我是激动的。我在这方面是初学者，沙纳汉已经思考了许多年。

  之前我看过他的一期播客，他说他认识1956年达特茅斯会议初创人，也就是人工智能这个叫法的创始人。

  如今，整整70年过去。