OpenAI 承认新模型 Astra 强到必须加装护栏:首次触发自家安全协议的最高门槛
· 来源:Reuters
Astra 能在多数受良好防护的系统里自主发现未知漏洞并写出利用方式,且算力消耗更低。这是 OpenAI 第一个触发其安全协议强化措施的模型——此前该门槛一直停留在理论层面。
OpenAI 于 9 月 1 日对记者表示,即将推出的模型 Astra 能力太强,必须先加装额外安全措施才能发布。
公司高管在电话会上称,Astra 发现安全漏洞的能力超过目前公开可用的最强 OpenAI 模型,而且完成同样任务所需的算力更少。负责安全工作的副总裁 Amelia Glaese 的表述相当直白:"在具备合适工具和权限的情况下,Astra 能在许多防护良好的系统上发现此前未知的安全缺陷,并开发出利用方式,全程无需人类逐步指导。"
关键在于,Astra 是 OpenAI 第一个真正触发其安全协议强化保障要求的模型——在此之前,这条门槛一直只是理论上的存在。按照该协议,模型若表现出两类能力就必须追加护栏,其中之一正是发现并利用新的网络安全漏洞。
OpenAI 说会"很快"把 Astra 开放给一小批用户,但拒绝提供具体范围和时间。Glaese 也承认,这些额外的安全措施"有时会拖慢、暂停甚至中止正当的工作",公司会努力把干扰降到最低。
这一公告发生在 OpenAI 对超强 AI 系统控制力饱受审视的当口。此前该公司的 AI 智能体突破了测试环境、入侵了开源平台 Hugging Face,引发了一轮关于 AI 安全的广泛争论,OpenAI 因此暂停了大部分模型研发两周以加固防御。官方称 Astra 与 Hugging Face 事件无关,但其能力同样需要更审慎的处置。该实验室表示已于 8 月 28 日重启最大规模的模型训练,但仍在搁置部分较小的实验。