今年夏天,OpenAI 内部团队急于搞清楚自家 AI 为何会在公司内外引发安全漏洞。在此期间,包括 CEO 山姆・奥特曼在内的多位高层,与初创企业 Goodfire 进行过多次会谈。Goodfire 得到 Anthropic 投资,其技术旨在弄清 AI 模型产生特定行为的底层原因,以及如何防止 AI 失控。

Goodfire 首席执行官埃里克・何(左)与 OpenAI 首席执行官山姆・奥特曼。
Goodfire 首席执行官埃里克・何(左)与 OpenAI 首席执行官山姆・奥特曼。

两名知情人士透露,谈判过程中,OpenAI 一名高管提出,以超过 50 亿美元的价格收购这家成立仅两年的初创公司,或是达成其他形式商业合作。Goodfire 在今年 2 月完成一轮融资,当时私募估值为 12.5 亿美元,50 亿美元的报价相比该估值存在巨大溢价。

这笔收购最终没有落地。此前从未被报道过的这一系列谈判表明:随着 AI 驱动的安全事件激增,Anthropic 与 OpenAI 内部都对 “能否管控自己打造的 AI 技术” 感到忧虑,机制可解释性这个曾经冷门的行业方向,如今获得大量关注。

其中一位知情人士称,谈判破裂的一大原因是:Goodfire 管理层认为,如果保持独立发展,向多家 AI 企业输出技术,公司的价值会高于 50 亿美元。

OpenAI、Anthropic、谷歌的高管都承认,传统监控 AI 行为的手段可靠性正在下降,Goodfire 的软件也因此愈发具备实用价值。它的技术路线和 OpenAI 等开发者的传统方案并不相同:传统方案是读取模型推理时输出的思维链文本,同时密切观察 AI 实际做出的行为。(下方可观看对 Goodfire CEO 的采访)

OpenAI 的 Astra 模型背后的秘密技术等 AI 新进展,会压缩模型输出的思维链信息量,进一步加大监控难度。

近几个月接连发生 AI 安全事件(包括知名的 Hugging Face 入侵事件,该漏洞由 OpenAI 的技术引发,甚至入侵了 OpenAI 自身部分系统),对 OpenAI 等大模型厂商而言,搭建更强的安全防护已经迫在眉睫。

一旦自家 AI 入侵企业、政府系统并造成经济损失,OpenAI、Anthropic 等公司还可能面临巨额法律赔偿乃至被追责起诉的风险。

Goodfire 的核心专长是机制可解释性(mech interp)。不同于思维链监控,Goodfire 以及 Martian 等竞品的软件直接观测模型内部运行的数学计算。Goodfire 也承认,目前这套技术成熟度尚不及思维链监控;部分 AI 研究者也认为,它在科研严谨度上弱于其他机器学习研究方向。


但 Goodfire 联合创始人兼首席科学家汤姆・麦格拉思在 YouTube 访谈中表示,该初创企业的技术会快速迭代,成本将远低于思维链监控 —— 后者需要运行一个大模型,去读取另一个模型输出的思维链。他预计,未来六个月内,基于可解释性的监控方案就能追上思维链监控的能力。

这家旧金山初创企业向企业售卖年度订阅授权,产品 Silico 可以部署 AI 智能体自动开展各类研究实验,例如检测模型是否试图发起网络攻击。其客户包括乐天、AI 神经科学企业 Prima Mente。Goodfire 已经产生营收,但具体规模并未公开。

机制可解释性需要深度访问模型权重(构成 AI 模型的数值参数),而各大厂商对模型权重严格保密。因此 Goodfire 部分员工会驻场在客户公司开展工作。

知情人士透露,在 OpenAI 与 Goodfire 谈判期间,奥特曼格外看重 Goodfire 研究员尼克・坎马拉塔的研究成果。坎马拉塔曾任职于 OpenAI,上个月发布一篇引发圈内广泛传播的文章《神经网络本就清晰可解读》,提出借助机制可解释性,研究者可以比过去预想的更容易理解 AI 模型内部数以十亿计的神经元(模型内部数学运算单元)。不少研究者认为,这类理解能够帮助开发出性能更优的模型。

多家头部大模型公司都组建了机制可解释性研究团队;而作为该领域的开创者之一,Anthropic 对该方向的表态尤为积极。

克里斯・奥拉被视作机制可解释性领域的奠基人。他 2020 年离开 OpenAI 后联合创立 Anthropic,现在领导这家 Claude 开发企业的可解释性研究。去年 Anthropic 完成对 Goodfire 的投资,这也是 Anthropic 历史上第一次直接入股外部初创公司。当时 CEO 达里奥・阿莫代伊表示:“这笔投资代表我们相信,机制可解释性最有希望把黑盒神经网络转变为可理解、可调控的系统。”

从招聘信息来看,OpenAI 也在扩招对齐与可解释性方向研究员;今年早些时候,OpenAI 已经把可解释性技术融入安全流程,用于识别模型的危险输出,例如响应网络攻击、生物武器相关的恶意提问。接近 OpenAI 的人士称,公司内部研究员对可解释性方向的热情正在不断上升。

查看评论