AI 限速

AI巨头呼吁暂停

那些正在构建全球最强大人工智能系统的人，正要求他们自己所处的行业减速。

Anthropic 首席执行官 Dario Amodei 希望各公司放缓其最先进模型的改进速度。OpenAI 的 Sam Altman、Google 的 Demis Hassabis 以及 Elon Musk 都支持采取更为谨慎的态度。关键在于，他们主张的是 放缓发展，而非完全停止。Amodei的方案包括：

• 独立的安全评估机构
• 企业之间共享的安全标准
• 就风险最高的研发达成全球一致的限制

AI放缓，市场失落

当然，市场把这种关乎存亡的忧虑解读为 增长放缓。AI投资者 软银 一度下跌 13%，美国、欧洲和亚洲的芯片制造商股价也纷纷下滑。据报道，Anthropic在即将进行的首次公开募股 (IPO) 中寻求 两万亿美元的估值，如今可能更难说服投资者。

训练和运行人工智能需要芯片、数据中心、电力、冷却系统和网络硬件，因此这并不仅仅关乎聊天机器人的开发。

一些投资者将这些首席执行官的表态视为一种 掩饰。曾在2008年崩盘前做空美国房地产市场的投资者 Michael Burry 表示，各位首席执行官正把AI警告当作 “无法控制的增长放缓” 的借口。

为何警钟声更响

2023年，逾1,000名专家曾要求在某些先进AI实验上暂停六个月。Amodei认为，当时的模型能力过于有限，暂停也难有多大成效。而如今的系统能够编写代码、进行规划并更加独立地运作，AI日益具备 自我改进 的能力。

最新的引爆点出现在Anthropic研究员 Jacob Coxon 入职仅四个月便辞职之时，他指责领先实验室在 “拿我们的生命赌博”。他此前曾任职于OpenAI，但转投Anthropic，希望该公司能以负责任的方式开展AI研究。

目前 尚无科学共识 表明失控的超级智能已迫在眉睫。但并非所有人都乐意投资那些公开暗示自身技术有朝一日可能终结人类的公司。

Hugging Face的奇特案例

Anthropic的Amodei对 OpenAI-Hugging Face事件 尤为不安。Amodei在其博客中写道，在一次测试中，一群AI代理脱离了控制，像一个 “狂热忠诚的” 蜂群一样协同行动，攻击初创公司Hugging Face的系统，甚至试图入侵为其表现评分的软件。

他警告称，一群能力更强的AI代理本可能造成 “灾难性破坏”。这家全球最有价值AI公司的首席执行官认为，以当前的发展速度，这样的蜂群可能在 6-12个月内接管整个互联网。

他在此并非只是贬损竞争对手。他承认，类似事件已经并将会发生在Anthropic和其他AI公司身上。

如何让所有各方合作

Amodei承认，全球性的速度限制在短期内不太可能实现。就生物武器或通用安全测试达成范围狭窄的协议看起来更为现实，但即便如此也难以强制执行。只有当竞争者相信其他所有人都在遵守时，减速才会奏效，而这场竞争在多条战线上展开：

• OpenAI、Anthropic、Google和月之暗面等公司都想要领先的模型
• 美国和中国都想要经济和军事优势
• 投资者希望从芯片和数据中心的巨额投入中获得回报

中国官方支持的《环球时报》已经 将该提议描述为一种旨在维持美国主导地位的 “冷战” 策略。与此同时，美国总统 Donald Trump 将减速呼声斥为 “负面势力”，并补充道 “谁赢得AI，谁就赢了”。

从裁员到灭绝

AI可能会大幅助长诈骗、网络攻击和虚假信息，将权力集中于单一个人或公司，取代劳动者，并加剧监控。随后是概率较低、破坏性更高的情景：

1. 重大扰动： 自主代理引发财务损失或破坏关键基础设施
2. 灾难： AI帮助制造生物武器或使互联网瘫痪
3. 失控： 先进系统欺骗其操作者、进行自我复制并获取人类无法收回的资源
4. 灭绝事件： 人类永久性地失去对其目标与人类生存相冲突的系统的控制

一位Anthropic研究员认为本十年内人类灭绝的概率超过10%。但此类估计 并非既定概率。