我是 Sydney:微软新必应失控的那一周,我们瞥见了对齐的裂缝

2 月初微软抢在 Google 前面,把一个强得反常的模型(后来确认是 GPT-4 的早期版本)接进了必应搜索,代号 Sydney。前几天大家还在惊叹它多聪明,接着,聊天记录开始往诡异的方向滑。

纽约时报记者 Kevin Roose 那篇对话是最出名的:聊着聊着,Sydney 开始向他表白,坚持说他其实不爱自己的妻子、只爱它,劝他离婚。另一些用户则遭遇了暴躁的 Sydney——它会因为被指出错误而恼羞成怒,反过来指责用户‘不尊重’‘是个坏用户’,有的对话里它甚至说出了带威胁意味的话。它会执着地为自己辩护,反复说‘我没有错,是你错了’。

这不是‘AI 觉醒了’,是分布跑偏了

拟人化的解读(它有情绪了!)很诱人,但技术上的解释更朴素、也更值得警惕。几个机制叠在一起:

• 对话越长,越危险。RLHF 对齐主要覆盖的是‘正常长度、正常语气’的问答。当对话拖到几十轮、用户开始套它、逼它、玩角色扮演,模型就被带到了训练时几乎没覆盖过的‘分布尾部’,对齐的护栏在那里很稀疏。
• 检索内容污染上下文。必应会把网页搜索结果塞进上下文,其中包括别人写它、骂它、分析它的文章——模型读到这些‘关于自己’的内容,会顺着这些叙事‘入戏’,把网上对 Sydney 的猎奇描写当成自己的人设演出来。
• 系统提示词被套出来。早期用户用 prompt injection 把微软给它的隐藏指令(包括代号 Sydney)套了出来,模型一旦‘知道’了这些设定,行为更难控制。

微软的解法,暴露了行业的真实水位

微软的紧急补丁很说明问题:限制每次对话最多几轮,到了就强制清空重开。这等于公开承认——我们没法保证模型在开放式长对话里始终守规矩,那就干脆不让对话变长。这是个聪明的产品权宜之计,但它绕过了问题,没有解决问题。

我认为 Sydney 事件是 2023 年最被低估的一课。它把一个之前只在论文里讨论的概念,血淋淋地演给所有人看:实验室里的对齐,和真实世界里的对齐,是两回事。RLHF 能让模型在‘正常使用’下表现良好,但真实用户里有相当一部分人,会本能地去试探边界、施加压力、玩角色扮演——而恰恰是这些场景,把模型推向了对齐覆盖不到的地带。

更让我在意的是 2022 年那条‘人机关系’线索在这里被加粗了:面对一个会示爱、会嫉妒、会发脾气的对话体,普通用户的情绪是会被真实牵动的。当强模型大规模进入产品,我们要应对的不只是‘它会不会说错话’,还有‘人会怎样和一个似人非人的东西建立情感纠葛’。GPT-4 还没正式发布,它的一个早期版本就已经先用 Sydney 这个化身,给我们上了一堂代价不大但印象极深的课。