#NLP

OpenAI 开源语音识别模型 Whisper:68 万小时多语言数据训练,鲁棒性强、多语言、还能翻译,而且免费开放。语音转文字这个老问题,基本被一个模型按平了。

Google 的 5400 亿参数 PaLM,配合一个朴素到离谱的技巧——思维链提示(让模型‘一步步想’)——在数学和推理任务上能力大涨。规模 + 提示方式,解锁了‘涌现’。

OpenAI 的 InstructGPT 用 RLHF(基于人类反馈的强化学习)对齐 GPT-3。一个 13 亿参数的对齐模型,在‘听不听话’上击败了 175 亿的原版。这套方法,就是十个月后 ChatGPT 的内核。

DeepMind 一口气放出 2800 亿参数的 Gopher 和一个反潮流的 RETRO。RETRO 用‘检索外部文本库’的方式,让一个小 25 倍的模型追平大模型。规模不是唯一的解。

GPT-3 API 内测放出,开发者们疯了:用它生成代码、写文案、做问答机器人、甚至把需求描述直接变成网页布局。一个 API 催生了一场应用寒武纪大爆发的预演。

OpenAI 发布 1750 亿参数的 GPT-3。最震撼的不是参数,是 few-shot:不微调、不改一个权重,只在提示词里给几个例子,它就能上手新任务。人机交互的方式,可能要变了。

经过大半年分阶段释放,OpenAI 把完整的 15 亿参数 GPT-2 公开了。回看年初那场‘危险论’风波,这次复盘比模型本身更有价值。

Google 的 T5 提出一个极简又极强的统一框架:翻译、摘要、分类、问答——通通当成‘文本到文本’的生成任务来做。一篇论文,一套范式,顺便把迁移学习的各种选择系统地扫了一遍。

OpenAI 发布 GPT-2，但以“可能被滥用造假新闻”为由，拒绝公开最大的 15 亿参数模型，只放小号。技术很强，但更大的争议是：AI 该不该“限量发售”？

Google 发布 BERT：用掩码语言模型做双向预训练，在 11 项 NLP 任务上集体刷新 SOTA，GLUE 榜单一夜变天。预训练大模型 + 微调，成了 NLP 的新默认。

OpenAI 发布 GPT：用 Transformer 解码器在大量无标注文本上做语言模型预训练，再微调到各类任务。一个模型打多个任务的范式，开始成型。

Google 八人组的 Transformer 论文挂上 arXiv：不要循环、不要卷积，纯注意力机制做序列建模，翻译质量和训练速度双双碾压。这篇必须精读。

Google 发布 GNMT 神经机器翻译系统并直接上线中英翻译：8 层 LSTM 编解码器加注意力机制，翻译错误率较老系统下降 55-85%，十年统计机器翻译时代谢幕。

微软在 Twitter 上线少女人设聊天机器人 Tay，网友有组织地“调教”16 小时后，它开始输出种族主义言论，微软紧急下线道歉。一堂昂贵的对齐课。

Karpathy 的博客 The Unreasonable Effectiveness of RNN 火遍了圈子：一个字符级 RNN 就能生成像模像样的莎士比亚、Linux 内核代码和数学论文。