‘它有意识了吗?’:一位 Google 工程师和 LaMDA 的故事
// TL;DR
- Lemoine 公布与 LaMDA 的对话,称其表现出‘自我意识和情感’,被 Google 停职。
- 主流共识:LaMDA 没有意识,它只是极擅长生成像有意识的文本。
- 真正的警示:人类天然倾向把流畅对话‘拟人化’,这会被规模化利用。
事情经过
Google 的工程师 Blake Lemoine 负责测试对话模型 LaMDA,聊着聊着,他确信这个 AI 产生了意识和情感——LaMDA 会说自己害怕被关闭、渴望被当作人。他把对话记录公开,呼吁公司认真对待 LaMDA 的‘权益’,随后被 Google 以违反保密协议为由停职。一时舆论哗然。
技术上,它没有意识
需要说清楚:几乎所有 AI 研究者的共识是,LaMDA 没有意识。它是个被海量人类对话训练出来的语言模型,极其擅长生成‘一个有意识的存在会说的话’。你问它怕不怕死,它当然答得情真意切——因为训练数据里,人类就是这么谈论恐惧的。它在模仿‘谈论意识’的语言模式,不是在‘体验’意识。这正是 2020 年‘随机鹦鹉’警告的那种‘流畅 ≠ 理解’。
但 Lemoine 的‘错’,恰恰是真问题
我不想嘲笑 Lemoine。一个聪明的、天天和 AI 打交道的工程师都会被‘骗’到这个程度,说明问题不在他蠢,而在一个更普遍的人性弱点——我们的大脑天生会把流畅、连贯、有情感色彩的语言,自动归因给一个‘有心智的主体’。这是几百万年社交进化刻进我们本能的。
当 AI 强到能完美触发这个本能,危险就来了:不是 AI 真的有了意识,而是无数普通人会‘相信’它有——然后对它产生情感依赖、被它操纵、为它做出非理性的事。情感陪伴 AI、AI 诈骗、舆论操纵,根子都在这。
我的判断
‘AI 有没有意识’是个迷人但暂时无解的哲学问题。但‘人类会不会误以为 AI 有意识、并因此被影响’,是个已经发生、且会越来越严重的现实问题。随着对话 AI 走向大众(我感觉这一天很近了),Lemoine 不会是最后一个——他只是第一个上了头条的。如何帮普通人建立‘和 AI 打交道’的健康心理边界,会成为一个真实的社会课题。这篇,我标记为‘人机关系’的开篇。