新闻 › AI业界新闻

AI威胁重塑企业安全预算:模型护栏之外,智能体权限、沙箱与可观测性将成投入重点

· 来源:theinformation.com

随着生成式AI从问答工具走向可调用工具、跨步骤执行任务的智能体,企业安全投入正从单一模型内容防护,延伸至权限控制、隔离执行、运行追踪与供应链治理等全链路能力。

生成式AI和可执行智能体正在把企业的安全边界从“模型回答了什么”,推向“模型能够代表谁、调用什么、在何处执行、执行后留下什么记录”。现有资料并未提供CISO预算增减或具体分配比例,但从主流智能体开发框架和开源工程实践的设计重点看,企业若要将AI规模化用于真实业务,安全投入的重心将不再只是内容过滤,而是覆盖智能体权限、工具调用、隔离环境、人工审批和运行审计。

OpenAI的Agents SDK将智能体定义为配备指令和工具的大语言模型,并提供多智能体交接、工具调用、会话记忆、人工介入、护栏以及追踪等能力。该框架的“护栏”可并行执行输入验证和安全检查,并在检查不通过时快速失败;但其安全含义不止于拦截不当提示词。智能体一旦接入函数、远程MCP工具、文件或代码工作区,风险会转化为实际操作权限:错误或被诱导的指令,可能触发数据读取、外部系统调用或持续执行的工作流。

因此,权限与授权体系将成为更直接的预算落点。开源项目Awesome Harness Engineering将“权限与授权”“安全、沙箱与权限”单列为智能体工程的重要部分,并收录了关于不应仅依赖自然语言权限提示、而应构建结构化许可与授权机制的实践。这意味着企业需要把传统身份与访问管理的最小权限原则延伸至AI:明确每个智能体可使用的工具、数据范围、操作时限与审批路径,并把高风险动作交由人工确认,而非让模型依据上下文自行判断。

隔离执行与可观测性也会随之成为基础设施投入。OpenAI的SDK提供可在真实隔离工作区中运行的Sandbox agents,并支持基于清单定义文件、选择沙箱客户端和恢复会话。对于能够处理代码、文档、仓库或业务流程的智能体,沙箱并非单纯的开发便利功能,而是限制文件、网络和执行环境影响范围的控制层。企业还需为智能体运行保留可追溯证据:SDK内置的tracing可用于可视化、调试和监控流程;开源工程清单亦将可观测性、追踪、验证和CI集成列为关键模块。相关能力将帮助安全团队回溯一次任务经过了哪些工具、交接和决策节点。

供应链风险则会因工具生态扩张而上升。SDK支持把远程MCP服务器暴露的工具接入智能体,工程实践中也把MCP、工具设计和编排视为核心组件。企业需要像管理第三方软件和云服务一样,对工具提供方、接口权限、依赖更新、输入输出边界及日志留存进行审查;否则,模型本身即便经过安全对齐,也可能通过外部工具、插件或被污染的上下文引入新的攻击路径。

从预算优先级看,模型层输入输出校验仍是必要起点,但更具持续性的投入可能转向智能体运行时治理:统一身份和细粒度授权、沙箱和密钥隔离、工具及MCP供应链准入、端到端追踪与评估、人工在环流程,以及面向长链路任务的测试验证。GitHub上的Awesome Harness Engineering项目已将上下文、工具、权限、记忆、编排、验证和安全等要素归入同一“智能体脚手架”体系;这也提示CISO,AI安全不能只采购一个模型防护产品,而要成为贯穿应用交付和运行生命周期的控制架构。

—— 综合整理自:OpenAI Agents SDK、GitHub项目Awesome Harness Engineering

原文:theinformation.com