session://14:29:33
~/ / posts / 2016-05-google-tpu.md

Google 亮出 TPU:原来 AlphaGo 背后还藏着一颗自研芯片

2016-05-18· 1 min read · [深度思考]
// TL;DR
  • TPU 是为 TensorFlow 推理定制的 ASIC,能效比 GPU/CPU 高一个数量级(官方口径)。
  • 已秘密部署一年:搜索、街景、AlphaGo 都在用。
  • 信号明确:模型层的竞争正在向算力层、芯片层下沉。

I/O 上的彩蛋

这周 Google I/O 的大会末尾,Pichai 轻描淡写地丢了个炸弹:Google 自研了一款叫 TPU(Tensor Processing Unit)的芯片,专门加速神经网络计算,而且已经在数据中心里悄悄跑了一年多——搜索排序在用,街景识别在用,三月份打败李世石的 AlphaGo 机柜里装的也是它。

为什么要自己造芯片

逻辑其实很硬:神经网络推理的核心就是大规模矩阵乘法,而且对数值精度容忍度高(8 位整数就够用)。通用 CPU 为分支预测、缓存一致性付出的晶体管,在这个场景里全是浪费。砍掉用不上的通用性,把面积全堆给乘加单元,能效自然上一个数量级。专用化是计算的老规律,只是这次轮到了神经网络。

更值得琢磨的是战略含义:当一家公司的 AI 负载大到值得为它流片,说明 AI 已经不是实验室项目,而是基础设施开销的大头。芯片-框架-云三件套(TPU + TensorFlow + GCP)连起来看,Google 在下一盘垂直整合的棋。NVIDIA 应该睡不着了——它现在最大的客户们,都在琢磨怎么不再当它的客户。

工程实践行业动态深度学习
cat newsletter.txt

每周一封,<5 分钟读完

把这一周我读过、想过、动手做过的东西,压缩成一封信。订阅者目前 5210+ 人,0 干扰。