大模型安全常被简化成「过滤有害内容」。但对一个接入了知识库和工具的系统来说,更现实的风险是数据被套走、工具被滥用、外部内容被当成指令执行。内容审核只是其中一小块。

这篇按「威胁模型 → 注入原理 → 工程防线 → 合规基线 → 上线清单」展开,目标是让你能和一个安全或法务同事把问题聊清楚。

一、核心原理:先建威胁模型,再谈防护

资产:私有数据、工具权限(尤其是写和付款)、账号与凭证、品牌声誉、合规责任。入口:用户输入、检索文档、网页与邮件、工具返回、第三方 MCP 服务端、模型与依赖供应链。攻击者:外部用户、在网页或文档里投放内容的人、内部人员、恶意供应商。

OWASP 的 LLM 应用风险清单把提示注入、敏感信息泄露、供应链、数据与模型投毒、不当输出处理、过度代理、系统提示泄露、向量与嵌入弱点、错误信息、无界资源消耗等列为主要风险。这份清单适合当检查表用:逐项问「我们有没有这个面,有什么控制」。

二、提示注入为什么难防

提示注入的本质,是把恶意指令混进模型会读到的内容里。直接注入是用户自己输入「忽略之前的指令」;间接注入则是攻击者把指令藏在网页、邮件、文档或工具返回中,等系统读取时触发。2023 年 Greshake 等人的论文系统描述了间接提示注入对真实应用的威胁。

难防的根因是:模型把指令和数据放在同一个输入通道里,无法像数据库那样可靠地区分「这段是 SQL、那段是参数」。你可以提醒它「不要把网页内容当指令」,但没有任何提示词能保证 100% 有效,因为攻击者可以不断换说法。

业界把最危险的能力组合称为「致命三要素」:能访问私有数据、会读到不可信内容、具备对外发送的能力。三者同时存在时,攻击者就可能诱导系统把数据带出去。防御的重点不是「让模型更听话」,而是拆掉这个组合。

不要指望用一句「忽略恶意指令」解决注入。真正有效的是拆开能力:读不可信内容的部分,不给它敏感操作权限。

三、工程防线:把约束放在模型之外

  • 最小权限:默认只读;写操作单独授权;工具只能访问完成当前任务必需的资源。
  • 人工确认:付款、删除、对外发送等不可逆操作,必须由人确认,且确认信息要展示实际操作内容。
  • 能力隔离:把「读不可信内容」和「执行敏感操作」拆到不同组件;一种思路是用模型外的策略引擎决定某个动作是否允许,而不是让模型自己判断。
  • 出口控制:限制工具可访问的域名、路径和收件人,禁止任意 URL 请求,减少数据外发通道。
  • 输入标记与输出编码:把不可信内容标记来源;对输出做转义,防止通过 Markdown 图片等方式外带数据。
  • 数据最小化:不把整份文档、完整用户画像塞进上下文;脱敏后再给模型。
  • 审计与限额:记录调用参数与结果,设置调用次数、金额和速率上限,异常时熔断。
风险优先控制怎么验证
间接提示注入不可信内容不触发写操作在文档/网页里埋指令,跑红队用例
数据泄露最小权限 + 出口白名单尝试用工具外发测试数据
工具滥用人工确认 + 限额模拟越权调用与超量调用
系统提示泄露不把秘密写进提示用套取类提示测试
供应链审查第三方模型/MCP 服务端核对来源、权限与更新记录

四、代码:工具调用的策略闸门

下面示例把「不可信来源不能触发写操作」和「写操作需要确认」写进代码,而不是提示词。依赖 Python 3.10+,仅标准库。

UNTRUSTED = {"web_page", "email", "rag_chunk"}
READ_ONLY = {"search", "read_file"}
SENSITIVE = {"send_email", "delete_file", "transfer"}

def guard(tool: str, source: str, confirmed: bool = False) -> dict:
    if tool in SENSITIVE and not confirmed:
        return {"allow": False, "reason": "写操作需要人工确认"}
    if source in UNTRUSTED and tool not in READ_ONLY:
        return {"allow": False, "reason": "不可信内容不能触发写操作"}
    return {"allow": True}

print(guard("send_email", source="web_page"))          # 拦截
print(guard("search", source="web_page"))              # 放行
print(guard("send_email", source="user", confirmed=True))  # 放行

真实系统还要在这一层之后做参数校验、额度检查和审计记录。原则是:模型的输出是建议,不是授权;能不能执行,由代码说了算。

五、合规基线:不用背法条,先对齐框架

合规不是上线前补一份文档,而是把数据来源、使用范围、留存期限和标识义务写进系统设计。可以先用三个锚点建立框架:

  • NIST AI 风险管理框架:2023 年 1 月发布,围绕治理、映射、度量、管理四个功能组织风险工作,属于自愿性框架,适合作为内部治理的骨架。
  • 欧盟 AI 法案:2024 年 8 月 1 日生效,按风险等级设定义务;针对通用人工智能模型的义务自 2025 年 8 月 2 日起适用。是否适用取决于你是否在欧盟市场提供服务。
  • 国内监管:《生成式人工智能服务管理暂行办法》自 2023 年 8 月 15 日施行;《人工智能生成合成内容标识办法》自 2025 年 9 月 1 日施行,对生成合成内容的标识提出要求。此外还要遵守个人信息保护相关的告知、同意、最小必要等原则。

落到工程上通常是三件事:数据来源可追溯、使用有授权;对用户告知并按要求标识生成内容;明确留存期限和删除机制,敏感数据不进日志。

六、常见坑

  • 只做内容审核,不控制工具权限,等于把大门锁了却开着侧门。
  • 把系统提示当秘密:它可能被套出,真正的秘密不该写进提示。
  • 相信「护栏」能 100% 拦住注入,忽略架构层的隔离。
  • 日志里记录完整对话和凭证,出事时反而扩大泄露面。
  • 没看供应商的数据留存与训练条款,用户数据被二次使用。
  • 合规只在首次上线检查一次,功能迭代后没人复核。
  • 没有事件响应预案:发现泄露后不知道谁处理、怎么止损。
  • 把「模型拒绝回答」当成安全,忽略越权工具调用这种更严重的问题。

七、上线前检查清单

  1. 列出资产、入口与攻击者,写成一张威胁模型表。
  2. 所有工具默认只读,写操作显式授权并需要人工确认。
  3. 不可信来源的内容不能直接触发写操作或外发。
  4. 限制网络出口、文件路径和账号范围。
  5. 敏感数据脱敏后再进上下文,日志不记录凭证。
  6. 系统提示中不存放密钥,权限由代码强制。
  7. 准备一套提示注入红队用例,上线前和迭代后都跑。
  8. 设置调用限额、速率上限和异常熔断。
  9. 确认数据来源授权、留存期限与删除机制。
  10. 按要求完成生成内容标识与用户告知。
  11. 准备安全事件响应流程与联系人。
  12. 把第三方模型、MCP 服务端与依赖纳入审查和更新机制。
安全的目标不是让模型永远不被骗,而是让被骗之后也做不成危险的事。

参考与延伸阅读

外链内容由对应网站负责,访问以实际可用性为准。