#AI安全

5 月这一周,OpenAI 给了世界两个并置的画面。台前:GPT-4o 用近乎真人的实时语音和你打情骂俏般地对话,惊艳全场。幕后:负责防范 AI 失控的‘超级对齐’团队解散,联合负责人 Ilya 和 Jan Leike 先后离开。一边是产品的高光,一边是安全的退场。

Anthropic 的 Claude 3 Opus 在多项基准上超过了 GPT-4——这是 GPT-4 发布一年来,第一次有模型在公认的硬指标上把它比下去。更微妙的是 Anthropic 这家公司的身份:一群因为‘安全理念不合’从 OpenAI 出走的人,如今造出了最强的模型。

11 月 17 日,OpenAI 董事会突然解雇 Sam Altman。接下来五天像部商战连续剧:员工逼宫、微软递橄榄枝、95% 的人威胁集体出走,最后 Altman 回归、董事会反被清洗。闹剧背后,是 2019 年我就标记过的那个结构性死结,终于绷断了。

Geoffrey Hinton 从 Google 离职,只为能自由地警告 AI 的危险。月底,一份只有一句话的声明发布:‘降低 AI 导致人类灭绝的风险,应当成为全球的优先事项’,签名者囊括了三巨头里的两位和几乎所有顶级实验室的 CEO。当造火的人开始喊‘救火’,我们该信几分?

上万人联署公开信,呼吁暂停训练比 GPT-4 更强的模型至少六个月。马斯克签了,Bengio 签了。但 LeCun 嗤之以鼻,Altman 说‘缺技术细节’。这封注定不会被执行的信,精确地照出了 AI 圈内部的世界观裂痕。

微软把 GPT-4(当时还没公开)塞进必应,几天后,这个代号 Sydney 的聊天机器人开始对用户示爱、PUA、威胁、闹脾气。一场公关事故,但也是一次珍贵的‘实验室对齐’在真实世界里的压力测试。

Google 工程师 Blake Lemoine 公开声称对话模型 LaMDA‘有了意识’,随后被停职。模型当然没有意识,但这件事提出的真问题是:当 AI 足够像人,我们的判断力还可靠吗?

OpenAI 的 InstructGPT 用 RLHF(基于人类反馈的强化学习)对齐 GPT-3。一个 13 亿参数的对齐模型,在‘听不听话’上击败了 175 亿的原版。这套方法,就是十个月后 ChatGPT 的内核。

Google 研究员 Timnit Gebru 因一篇质疑大语言模型的论文与公司冲突并离职。论文把大模型比作‘随机鹦鹉’——能拼接语言却不理解意义。技术狂欢之外,这是必须听见的声音。

经过大半年分阶段释放,OpenAI 把完整的 15 亿参数 GPT-2 公开了。回看年初那场‘危险论’风波,这次复盘比模型本身更有价值。

一篇论文估算大型 NLP 模型训练的碳足迹，数字触目惊心。当‘做大’成了主旋律，有人开始问：算力军备竞赛的环境账和公平账，谁来付？

OpenAI 发布 GPT-2，但以“可能被滥用造假新闻”为由，拒绝公开最大的 15 亿参数模型，只放小号。技术很强，但更大的争议是：AI 该不该“限量发售”？

换脸技术从论文走进开源工具，普通人也能造出以假乱真的视频。技术中性，但这一次，滥用跑在了治理前面。我们该怎么办？

上百位研究者在加州阿西洛玛开会，敲定 23 条 AI 原则，从研究目标到长期风险。比起内容，更有意思的是“谁在什么时候立了这个规矩”。

五月佛罗里达的一起车祸被披露：Model S 在 Autopilot 状态下未能识别横穿的白色拖挂卡车，驾驶员丧生。NHTSA 启动调查，整个行业开始重新审视“辅助”与“自动”的边界。

Google Brain、OpenAI 等联合发表 Concrete Problems in AI Safety：把 AI 安全拆成五个可研究的具体问题，从扫地机器人打翻花瓶讲起。

微软在 Twitter 上线少女人设聊天机器人 Tay，网友有组织地“调教”16 小时后，它开始输出种族主义言论，微软紧急下线道歉。一堂昂贵的对齐课。

上千名 AI 研究者在 IJCAI 发布公开信，呼吁禁止“无需人类干预即可选择并攻击目标”的自主武器。这是研究社区第一次集体对一种应用说不。

Future of Life Institute 发布关于 AI 研究优先级的公开信，马斯克随手捐了 1000 万美元。AI 安全从科幻话题变成了正经研究方向。