session://14:29:33
~/ / posts / 2017-01-asilomar-principles.md

阿西洛玛 23 条:AI 圈给自己立的第一部“家规”

2017-01-09· 1 min read · [深度思考]
// TL;DR
  • 23 条原则覆盖研究伦理、价值对齐、长期风险三大块,签名者超千人。
  • “能力慎言上限”和“避免军备竞赛”写进了共识。
  • 原则没有约束力,但行业自我立法这个动作本身有标志意义。

发生了什么

新年第一周,Future of Life Institute 在加州阿西洛玛组了个会——这个地方有讲究,1975 年生物学家就是在这里给重组 DNA 研究立的规矩。这次轮到 AI:上百位研究者(LeCun、Bengio、Hassabis、Musk 都在)讨论出 23 条原则,涵盖研究目标“创造有益的智能而非无方向的智能”、价值对齐、致命自主武器、以及“超级智能只应服务于全人类”这类长期条款。

怎么看这份文件

说实话,原则本身没有牙齿——没有执行机制,没有惩罚条款,全靠自觉。但我不觉得它没用。行业规范的演化通常是三步:先有共识文本,再有行业惯例,最后才是法律法规。阿西洛玛是第一步的标准动作。

另一个值得注意的细节:这次签名的不是边缘人物,而是正在造最强系统的那批人。当造火箭的人开始认真讨论防爆措施,你可以解读为负责任,也可以解读为——他们看到的东西比外界以为的更快。两种解读我各信一半。

AI安全行业动态人工智能
cat newsletter.txt

每周一封,<5 分钟读完

把这一周我读过、想过、动手做过的东西,压缩成一封信。订阅者目前 5210+ 人,0 干扰。