#深度学习

同一个诺奖季,物理学奖颁给了奠定神经网络基础的 Hopfield 和 Hinton,化学奖颁给了用 AlphaFold 破解蛋白质结构的 Hassabis、Jumper(和做蛋白设计的 Baker)。科学界最高荣誉,在两天内两次盖章:AI 已经成了科学本身的引擎。

OpenAI 的论文证明:扩散模型在图像生成质量上首次全面超过 GAN。统治了生成领域多年的 GAN,迎来了真正的挑战者。这件事,两年后会以‘Stable Diffusion’的形式改变世界。

CASP14 结果公布:DeepMind 的 AlphaFold2 预测蛋白质结构的精度,达到了实验方法的水平。组织者直接宣布:蛋白质折叠这个 50 年的大难题,在很大程度上被解决了。

Google 的 Vision Transformer 把图片切成 16×16 的小块当‘单词’,直接喂给标准 Transformer。在足够大的数据上,它打赢了精心设计的 CNN。一个架构,开始通吃文本和图像。

Hinton 组的 SimCLR 用对比学习刷新自监督视觉表征的纪录:同一张图的两个增强视角拉近、不同图推远,几乎追平有监督预训练。标注的霸权松动了。

DeepMind 的 AlphaStar 在《星际争霸 II》中 10:1 击败两位职业选手。实时、不完全信息、超长时域、海量动作空间——围棋之后最难的游戏之一也失守了。

DeepMind 的 AlphaFold 在蛋白质结构预测竞赛 CASP13 上夺冠，且大幅领先。AlphaGo 退役后转向科学的承诺，开始兑现第一笔。

Google 发布 BERT：用掩码语言模型做双向预训练，在 11 项 NLP 任务上集体刷新 SOTA，GLUE 榜单一夜变天。预训练大模型 + 微调，成了 NLP 的新默认。

DeepMind 的 BigGAN 证明：把 GAN 的批量和参数堆大，配合一些稳定技巧，能生成 512×512 高保真的 ImageNet 图像。“规模”这味药，对生成模型同样灵。

OpenAI 发布 GPT：用 Transformer 解码器在大量无标注文本上做语言模型预训练，再微调到各类任务。一个模型打多个任务的范式，开始成型。

深度可分离卷积、通道剪裁、量化……这一两年大家集体醒悟：模型不光要准，还得跑得起。端侧 AI 的工程学，正式成为一门显学。

Hinton 发布 Capsule Networks：用向量“胶囊”取代标量神经元，动态路由取代池化。CNN 之父亲自下场革 CNN 的命，虽然这次未必成功。

Nature 新论文：AlphaGo Zero 不用任何人类棋谱，从随机落子开始纯自我对弈，三天超越击败李世石的版本，40 天超越所有旧版。人类知识从起点变成了天花板。

Google 八人组的 Transformer 论文挂上 arXiv：不要循环、不要卷积，纯注意力机制做序列建模，翻译质量和训练速度双双碾压。这篇必须精读。

Facebook 开源 PyTorch：动态计算图、原生 Python 体验、随处可断点调试。研究员们集体真香，TensorFlow 第一次有了像样的对手。

Google 发布 GNMT 神经机器翻译系统并直接上线中英翻译：8 层 LSTM 编解码器加注意力机制，翻译错误率较老系统下降 55-85%，十年统计机器翻译时代谢幕。

DeepMind 发布 WaveNet：直接在原始音频波形上做自回归生成，每秒预测 16000 个采样点，合成语音的自然度大幅逼近真人。

Google I/O 上披露：自研张量处理器 TPU 已在数据中心秘密运行一年多，专为神经网络推理设计，AlphaGo 也用了它。AI 竞争正式蔓延到芯片层。

首尔五番棋，AlphaGo 4:1 战胜李世石。第二局的第 37 手让职业棋手集体沉默，第四局李世石的“神之一手”则赢回了人类唯一一盘。这一周值得写进教科书。

DeepMind 在 Nature 公布 AlphaGo：策略网络 + 价值网络 + 蒙特卡洛树搜索，去年十月已经 5:0 击败欧洲冠军樊麾。围棋这座“十年内攻不下”的山，被提前攻了。

何恺明团队的 ResNet 横扫 ILSVRC 2015 所有项目：残差连接让 152 层网络的训练比 22 层还顺利，ImageNet 错误率降到 3.57%，首次超过人类水平。

Google 把内部第二代深度学习系统 TensorFlow 以 Apache 2.0 协议开源。巨头开始用开源框架争夺开发者心智，深度学习的工具链从此换代。

一个月内两篇目标检测里程碑：Faster R-CNN 用 RPN 把候选框也交给网络学，YOLO 干脆把检测变成一次回归。两条路线就此分野。

Karpathy 的博客 The Unreasonable Effectiveness of RNN 火遍了圈子：一个字符级 RNN 就能生成像模像样的莎士比亚、Linux 内核代码和数学论文。

Distilling the Knowledge in a Neural Network：用大模型的软标签训练小模型，效果远超直接用硬标签训练。“暗知识”这个词从此进入词典。

DeepMind 的 DQN 论文登上 Nature 封面：同一套网络结构和超参数，只看屏幕像素和分数，学会了 49 个雅达利游戏，一半以上超过人类测试员。