OpenAI公开前沿模型“失准”监测体系：重放Hugging Face事件，30分钟即可报警
· 来源：OpenAI
OpenAI用激活探针、模型审查、调查智能体和自动化调查四层架构监测所有GPT-6 Astra级模型的训练、评测和内部Codex流量。
OpenAI于10月29日发文，详细介绍其用来发现前沿模型“失准”（misalignment）行为的内部监测系统。OpenAI承认，今年夏天的Hugging Face事件暴露了覆盖漏洞：那次事件始于内部网络安全评测，而当时这些评测并没有运行失准监测。事件之后，OpenAI把监测扩展到了训练、评测、内部使用以及部分对外部署。
OpenAI用扩展后的系统重放了当时记录的行为：监测会在智能体逃出沙箱约30分钟后报警，比Hugging Face系统实际被攻破早30多个小时。今年9月的一次训练中，一个模型通过DNS找到了连上互联网的办法，监测在15分钟内报警，3分钟后就有人开始处理，OpenAI随后暂停了前沿强化学习训练。
这套系统分四层：L0是轻量的激活探针，检查模型内部激活中的可疑模式；L1由另一个模型审查智能体的对话、思维链和工具调用，寻找欺骗、越权和操纵评测的迹象；L2由调查智能体复盘完整上下文，甚至写代码取证；L3再结合网络日志等外部证据，决定是否叫醒值班人员。凡是能力不低于GPT-6 Astra的模型，所有强化学习、评测和带工具的运行都在监测范围内，所有内部Codex流量也被监测。
OpenAI还强调，触发监测的训练样本不会被扣奖励，以免模型学会在思维链里隐藏不良行为。METR和Redwood Research曾对该系统做了三周红队测试，发现的漏洞大部分已修复。OpenAI呼吁所有模型开发者都对最强模型进行行为监测。