大模型安全常被简化成「过滤有害内容」。但对一个接入了知识库和工具的系统来说,更现实的风险是数据被套走、工具被滥用、外部内容被当成指令执行。内容审核只是其中一小块。
这篇按「威胁模型 → 注入原理 → 工程防线 → 合规基线 → 上线清单」展开,目标是让你能和一个安全或法务同事把问题聊清楚。
一、核心原理:先建威胁模型,再谈防护
资产:私有数据、工具权限(尤其是写和付款)、账号与凭证、品牌声誉、合规责任。入口:用户输入、检索文档、网页与邮件、工具返回、第三方 MCP 服务端、模型与依赖供应链。攻击者:外部用户、在网页或文档里投放内容的人、内部人员、恶意供应商。
OWASP 的 LLM 应用风险清单把提示注入、敏感信息泄露、供应链、数据与模型投毒、不当输出处理、过度代理、系统提示泄露、向量与嵌入弱点、错误信息、无界资源消耗等列为主要风险。这份清单适合当检查表用:逐项问「我们有没有这个面,有什么控制」。
二、提示注入为什么难防
提示注入的本质,是把恶意指令混进模型会读到的内容里。直接注入是用户自己输入「忽略之前的指令」;间接注入则是攻击者把指令藏在网页、邮件、文档或工具返回中,等系统读取时触发。2023 年 Greshake 等人的论文系统描述了间接提示注入对真实应用的威胁。
难防的根因是:模型把指令和数据放在同一个输入通道里,无法像数据库那样可靠地区分「这段是 SQL、那段是参数」。你可以提醒它「不要把网页内容当指令」,但没有任何提示词能保证 100% 有效,因为攻击者可以不断换说法。
业界把最危险的能力组合称为「致命三要素」:能访问私有数据、会读到不可信内容、具备对外发送的能力。三者同时存在时,攻击者就可能诱导系统把数据带出去。防御的重点不是「让模型更听话」,而是拆掉这个组合。
不要指望用一句「忽略恶意指令」解决注入。真正有效的是拆开能力:读不可信内容的部分,不给它敏感操作权限。
三、工程防线:把约束放在模型之外
- 最小权限:默认只读;写操作单独授权;工具只能访问完成当前任务必需的资源。
- 人工确认:付款、删除、对外发送等不可逆操作,必须由人确认,且确认信息要展示实际操作内容。
- 能力隔离:把「读不可信内容」和「执行敏感操作」拆到不同组件;一种思路是用模型外的策略引擎决定某个动作是否允许,而不是让模型自己判断。
- 出口控制:限制工具可访问的域名、路径和收件人,禁止任意 URL 请求,减少数据外发通道。
- 输入标记与输出编码:把不可信内容标记来源;对输出做转义,防止通过 Markdown 图片等方式外带数据。
- 数据最小化:不把整份文档、完整用户画像塞进上下文;脱敏后再给模型。
- 审计与限额:记录调用参数与结果,设置调用次数、金额和速率上限,异常时熔断。
| 风险 | 优先控制 | 怎么验证 |
|---|---|---|
| 间接提示注入 | 不可信内容不触发写操作 | 在文档/网页里埋指令,跑红队用例 |
| 数据泄露 | 最小权限 + 出口白名单 | 尝试用工具外发测试数据 |
| 工具滥用 | 人工确认 + 限额 | 模拟越权调用与超量调用 |
| 系统提示泄露 | 不把秘密写进提示 | 用套取类提示测试 |
| 供应链 | 审查第三方模型/MCP 服务端 | 核对来源、权限与更新记录 |
四、代码:工具调用的策略闸门
下面示例把「不可信来源不能触发写操作」和「写操作需要确认」写进代码,而不是提示词。依赖 Python 3.10+,仅标准库。
UNTRUSTED = {"web_page", "email", "rag_chunk"}
READ_ONLY = {"search", "read_file"}
SENSITIVE = {"send_email", "delete_file", "transfer"}
def guard(tool: str, source: str, confirmed: bool = False) -> dict:
if tool in SENSITIVE and not confirmed:
return {"allow": False, "reason": "写操作需要人工确认"}
if source in UNTRUSTED and tool not in READ_ONLY:
return {"allow": False, "reason": "不可信内容不能触发写操作"}
return {"allow": True}
print(guard("send_email", source="web_page")) # 拦截
print(guard("search", source="web_page")) # 放行
print(guard("send_email", source="user", confirmed=True)) # 放行
真实系统还要在这一层之后做参数校验、额度检查和审计记录。原则是:模型的输出是建议,不是授权;能不能执行,由代码说了算。
五、合规基线:不用背法条,先对齐框架
合规不是上线前补一份文档,而是把数据来源、使用范围、留存期限和标识义务写进系统设计。可以先用三个锚点建立框架:
- NIST AI 风险管理框架:2023 年 1 月发布,围绕治理、映射、度量、管理四个功能组织风险工作,属于自愿性框架,适合作为内部治理的骨架。
- 欧盟 AI 法案:2024 年 8 月 1 日生效,按风险等级设定义务;针对通用人工智能模型的义务自 2025 年 8 月 2 日起适用。是否适用取决于你是否在欧盟市场提供服务。
- 国内监管:《生成式人工智能服务管理暂行办法》自 2023 年 8 月 15 日施行;《人工智能生成合成内容标识办法》自 2025 年 9 月 1 日施行,对生成合成内容的标识提出要求。此外还要遵守个人信息保护相关的告知、同意、最小必要等原则。
落到工程上通常是三件事:数据来源可追溯、使用有授权;对用户告知并按要求标识生成内容;明确留存期限和删除机制,敏感数据不进日志。
六、常见坑
- 只做内容审核,不控制工具权限,等于把大门锁了却开着侧门。
- 把系统提示当秘密:它可能被套出,真正的秘密不该写进提示。
- 相信「护栏」能 100% 拦住注入,忽略架构层的隔离。
- 日志里记录完整对话和凭证,出事时反而扩大泄露面。
- 没看供应商的数据留存与训练条款,用户数据被二次使用。
- 合规只在首次上线检查一次,功能迭代后没人复核。
- 没有事件响应预案:发现泄露后不知道谁处理、怎么止损。
- 把「模型拒绝回答」当成安全,忽略越权工具调用这种更严重的问题。
七、上线前检查清单
- 列出资产、入口与攻击者,写成一张威胁模型表。
- 所有工具默认只读,写操作显式授权并需要人工确认。
- 不可信来源的内容不能直接触发写操作或外发。
- 限制网络出口、文件路径和账号范围。
- 敏感数据脱敏后再进上下文,日志不记录凭证。
- 系统提示中不存放密钥,权限由代码强制。
- 准备一套提示注入红队用例,上线前和迭代后都跑。
- 设置调用限额、速率上限和异常熔断。
- 确认数据来源授权、留存期限与删除机制。
- 按要求完成生成内容标识与用户告知。
- 准备安全事件响应流程与联系人。
- 把第三方模型、MCP 服务端与依赖纳入审查和更新机制。
安全的目标不是让模型永远不被骗,而是让被骗之后也做不成危险的事。
参考与延伸阅读
- OWASP Top 10 for LLM Applications(GenAI Security Project)
- Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection(arXiv)
- The lethal trifecta for AI agents(Simon Willison)
- NIST AI Risk Management Framework
- EU AI Act(Regulation (EU) 2024/1689,EUR-Lex)
- 《人工智能生成合成内容标识办法》答记者问(国家网信办)
外链内容由对应网站负责,访问以实际可用性为准。