新闻 › AI前沿新闻

Anthropic安全治理再受拷问:研究员离职警示与英国外部测试受阻,前沿模型审计边界何在

· 来源:msn.com

Anthropic安全治理再受拷问:研究员离职警示与英国外部测试受阻,前沿模型审计边界何在

围绕一名研究员因担忧AI破坏性潜力而离职、以及英国安全机构外部测试权限受限的报道,Anthropic在模型商业化、政府监管和独立审计之间的责任分配再度成为焦点。

Anthropic的安全治理再次引发讨论。一条来自MSN的报道显示,该公司一名研究人员已离职,并警告人工智能可能具有“破坏性潜力”;与此同时,围绕英国安全机构能否充分接触并测试前沿模型的争议,也将外部评估机制的权限问题推到台前。两条线索共同指向一个核心问题:在能力更强、部署更快的前沿模型竞争中,企业内部自查、政府测试与独立审计应如何彼此制衡?

据MSN报道,这名研究员以离职方式表达了对AI风险的担忧。现有材料未提供其姓名、具体离职时间、所涉模型或完整公开声明,因而不宜将其个人立场延伸为Anthropic整体安全体系已经失效的结论。但研究人员公开提出风险警示,本身说明模型研发团队内部对于能力提升速度、滥用可能性及长期影响,仍可能存在不同判断。

另一条争议集中于英国安全机构对模型测试的实际权限。前沿模型的安全评估通常需要在正式发布前获得足够的模型访问、系统提示词与工具调用条件,并能针对网络安全、欺诈、危险知识、越狱诱导及自主任务执行等风险进行红队测试。如果评估方只能在发布后、或仅在企业预设环境中有限测试,其发现问题、复现实验和提出修复要求的能力都会受到限制。

对Anthropic等前沿模型公司而言,限制访问并非完全没有现实理由。模型权重、训练数据、系统提示和安全缓解措施都涉及商业机密,也可能因过度披露而增加被攻击或被滥用的风险。企业也会强调,内部安全团队、分级发布机制、使用政策和持续监测构成了风险管理的一部分。不过,安全措施若主要由企业自行设计、执行和解释,外界便难以独立验证其覆盖范围与实际效果。

这正是外部审计的难点所在:监管者不能只获得一份企业自行撰写的安全结论,也不能要求不受约束地公开所有敏感技术细节。较可行的路径,是在严格保密和明确法律责任下,为经资质审查的政府机构或第三方评估者提供发布前访问;测试范围、风险阈值、整改期限及例外情形应形成可核查记录。对于高风险能力,还应建立模型更新后的复测机制,而非把一次性测试视为永久性“安全认证”。

从更广的行业角度看,研究员离职警示提醒企业,内部异议渠道需要能够真正影响决策;英国测试权限争议则表明,政府安全机构若没有稳定、充分且及时的技术访问,其监管角色可能停留在原则层面。前沿模型公司的责任不应仅是承诺“重视安全”,还应包括接受与其能力和社会影响相匹配的外部检验。

—— 综合整理自:MSN、AIGC.BAR、喜马拉雅

原文:msn.com