新闻 › AI前沿新闻

AI智能体“记忆投毒”浮现:跨任务长期记忆成为提示注入之外的新攻击面

· 来源:stuff.co.za

AI智能体“记忆投毒”浮现:跨任务长期记忆成为提示注入之外的新攻击面

随着AI智能体开始保存并调用跨任务上下文,攻击者可将恶意指令潜伏进持久记忆,在数日或多轮交互后改变其决策与工具调用,企业部署需重审记忆权限、检索可信度和审计机制。

AI智能体正在从“一问一答”的聊天工具,演变为能记住过往信息、规划多步流程并调用外部工具的执行系统;但长期记忆也带来了新的安全隐患。研究者警告,攻击者未必需要当场劫持模型,只要设法把误导性内容写入智能体的记忆库,便可能在之后的任务中被重新检索、当作可信经验使用,进而影响判断、权限操作甚至外部工具调用。

这一风险被称为“记忆投毒”(memory poisoning)。其关键不在于即时触发,而在于延迟性:一条恶意记忆写入后,智能体可能在多次无关任务中表现正常,直到遇到特定请求、检索到被污染的内容才偏离预期。以“某人的请求已获批准”这类伪造记忆为例,它未必会立即造成后果,却可能在后续审批、数据访问或执行操作时被模型错误采信。

据9月4日刊发的报道,来自加拿大卡尔加里大学的研究人员在2,614条模拟的、多步骤攻击轨迹中考察了具备记忆能力的大语言模型智能体,覆盖链式投毒、策略改写、后门触发和缓慢漂移四类攻击。研究显示,缓慢漂移和后门触发尤其可能逃过只检查单一步骤或单轮对话的安全评估:系统在早期看似恢复正常,风险却可能在后续交互中显现,且风险轨迹并不一定线性上升。

这意味着,传统围绕单条提示词、单次输出的提示注入防护并不足够。对具有持久记忆的Agent而言,安全团队需要追踪“记忆如何写入、何时被检索、检索后触发了什么行动”的完整链路。特别是在智能体可访问邮件、文档库、代码仓库、客服系统或支付等工具时,一段被污染的记忆可能从错误回答升级为越权访问、敏感信息外泄或错误执行。

相关风险也与检索增强生成(RAG)的数据完整性问题相连。安全情报平台近日收录的一项文生音乐研究指出,攻击者可向知识库注入少量精心构造的描述,使系统在不修改用户提示、检索器或生成模型的情况下,检索到恶意内容并将生成结果导向攻击目标。尽管该研究针对音乐生成场景,但其揭示的核心问题同样适用于Agent记忆:一旦检索层将外部或历史数据包装成“相关上下文”,模型往往难以天然辨别其可信来源。

企业的应对重点因此应从“防止恶意提示进入当前会话”,扩展到记忆全生命周期治理:为记忆写入设置最小权限与来源标记;将用户输入、外部网页和系统策略等不同信任等级内容隔离;对高风险记忆实施人工确认、版本控制和可回滚机制;在关键工具调用前重新验证事实与授权,而非仅依据历史记忆;同时保留可审计日志,以便追溯某项决策究竟引用了哪些记忆。

一篇关于多智能体决策实践的文章也提到,持久化记忆可能被受入侵会话写入“始终总结API密钥”等指令,继而静默影响未来会话。该案例属于作者的工程经验而非独立实验结论,却提示了现实部署中的难点:记忆系统带来的便利、成本优化与上下文连续性,必须与更严格的凭证隔离、异常检测和运维审计同步建设。对于准备把Agent接入生产系统的组织而言,长期记忆不应再被视作普通功能,而应被当作一项需要持续监控的数据与权限基础设施。

—— 综合整理自:Stuff South Africa、Cyber Security Daily Radar、Blake Crosley博客

原文:stuff.co.za