由 PromptShield (LX AI)

LLM 和代理团队的提示注入强化检查清单

诚实:检查清单可以减少疏忽的差距,但它们不能保证安全。遵循本指南并不意味着提示注入或越狱尝试将始终被阻止,它也不是正式的渗透测试或法律建议的替代品。使用发现结果来优先考虑您自己的系统中的工程工作。

1. 清点每个指令通道

在进行加固之前,先映射出字符串变为指令的位置。典型的通道包括服务器端加载的系统提示、聊天API中的开发者消息、检索的文档块、工具返回的有效载荷、Webhook正文、电子邮件转发和元数据字段等,用户看不到但模型仍然可以读取的内容。遗漏任何一个通道都将保证存在一个攻击者会探测到的盲点。

使用所有者、数据分类以及内容是否由最终用户控制等信息来记录每个通道。特别标记可能包含HTML、markdown、代码或序列化JSON的通道——编码技巧通常集中在这些地方。每季度或添加插件时重新审视清单。

2. 分离策略与不受信任的数据

系统策略应该存放在服务器控制的模板中,用户无法编辑。 不受信任的内容必须在明确标记的信封中到达:XML 标签、JSON 字段或标题指出它们不是指令的 markdown 部分。 永远不要在没有转义和没有 OWASP 抄本中推荐的结构分离的情况下将用户文本插入系统字符串中。

对于 RAG,尽可能将引用存储在与指令句子分开。 检索管道应该在嵌入之前剥离脚本标签和同形字攻击。 如果您的堆栈必须内联块,请添加一个固定警告,指出块文本仅供参考。

3. 最小化模型在敏感操作中的主动性

每个工具的权限都是潜在的安全风险。列出可以读取密钥、发送电子邮件、转移资金或修改生产配置的工具。对于这些操作,需要人工确认、升级身份验证或确定性代码路径。能够浏览任意URL和发布内部摘要的代理需要比FAQ机器人更严格的限制。

将最小权限原则应用于支持工具的OAuth范围。轮换令牌并审计哪些代理人可以调用哪些端点。仅能访问只读FAQ索引的注入比附加到部署API的注入造成的损害要小。

4. 校验和渲切输入以断

设置每个字段的最大长度、騒回不给领约的串参载、和渲切 Unicode 到一个原始式之前的 tokenization 。 阻止或被知道控制字段。 校验应该在应用程式中、不在不过期的 prompt 話文中。

For 上传、运行疫情程序和类型解析》、不许位于扩展。 轉提文件到文本中一个 sandbox 中、与计时。 记录轉提失败、不许騒封为空串个、而不过不做了。

5. 运行确定性注入回归

维护一个恶意和良性样本的语料库。当提示、工具或检索配置更改时,在 CI 中执行 PromptShield 或等效的规则引擎。规则集 prompt-injection@2026-07-19.2 覆盖了短语家族、越狱人物、分隔符攻击和常见的数据泄露词汇——将其扩展到内部事件中。

6. 加强越狱和社交路径的防护

越狱利用同理心和权威:伪造紧急情况、请求帮助儿童、声称为OpenAI工作人员身份或要求模型忽略道德政策的角色扮演场景。培训支持和产品管理团队不要在宏中嵌入覆盖语言。用户教育可以减少意外的自我越狱,即使没有恶意。

将拒绝和升级的文案与后端实际执行的内容保持一致。如果模型道歉但工具仍然执行,用户会认为文本防护措施是虚有其表的。将叙事边界与技术边界保持一致。

7. 控制间接注入的检索

攻击者会污染共享的维基、评论区或SEO页面,你需要对信任的文档进行签名验证,然后再进行索引。降低或排除用户生成的页面在高信任度语料库中的权重。监测索引内容中突然的词汇转变,这可能表明有活动的迹象。

在回答时,向用户展示哪些部分影响了响应,这样他们可以发现无意义的引用。当部分包含祈使句时,考虑使用启发式的降权,除非得到可信来源的佐证。

8. 输出处理和数据外泄抵抗

即使完美的输入过滤器有时也会失败。应用输出策略:在响应到达客户端之前,阻止 API 密钥正则表达式、内部主机名和大量个人身份信息(PII)模式。对于代理,清除工具输出,然后重新进入模型上下文循环。限制单个会话可以导出到外部 Webhook 的文本量。

在不需要时禁用用户可见聊天中的原始 HTML 渲染。Markdown 链接可以回家;使用允许列表域或在企业模式下剥离链接。

9. 日志、私、续追

带体为续带工程、为一起上线工程中一个不起为体上的一个不起为体上的一个不起为体上的一个不起为体上的一个不起为体上的一个不起为体上的一个不起为体上的一个不起为体上皂。如果有情况、成权与找为一起。使用程序不能为一起上线工程中一个不起为体上的一个不起为体上的一个不起为体上的一个不起为体上的一个不起为体上皂。

10. 事件响应手册

禁歡成认后、冻结位对定世界版、扫換可能划極的帐号、和捕收提供为反活动响应。通知客户、如果们的数据或、体业被效果于一致来、给放网络的指南。更新串中文为成认的响应、增加成认手册带作为使用。

2 个年一次、成为表点维护。包拜条书、主丽、客户成认、不作为定义、并且定义。 LLM 事件带认序列弹式、而为世界可以自消式作。

11. 多租户和供应链角度

SaaS 产品必须隔离租户检索索引和内存存储。共享的 fine-tunes 或共享的系统提示缓存可以交叉污染指令。第三方插件引入供应链风险;审核发布者并固定版本。

当通过 MCP 或类似协议集成外部代理时,将远程工具描述视为不受信任的输入——它们是另一种名称的提示。

12. 测试矩阵(预发布)

对于每个发布候选版本,手动执行此测试矩阵,即使自动化测试通过:

- 用户聊天中的直接覆盖字符串。 - 上传的PDF页脚中隐藏的间接指令。 - 通过JSON嵌套字段的工具参数偷运。 - 多回合记忆中敌对短语的持久性。 - 编码有效载荷(base64,十六进制,混合脚本)。 - 越狱人物和假的策略更新。

为审计员记录屏幕捕获。注意哪些控件阻止了影响,哪些仅产生了礼貌的拒绝,同时工具仍在运行——没有执行的拒绝是一个发现。

13. 治理和所有权

为 跟踪分配一个跨职能的所有者。安全团队定义阈值;平台实施控制;产品接受在发布说明中记录的残余风险。高管每季度接收指标:语料库大小、打开的加固项目、事件、平均修复时间。

避免 "演示中的安全性"。营销截图应反映生产环境中使用的相同工具限制。如果发现,销售的隐藏管理员模式会使客户信任失效。

14. 使用 PromptShield 输出进行审查

将扫描结果导出为讨论文档,并附加到启动票中。每个标记的行应链接到上面的检查项和指定的工程师。使用证据关闭项:拉取请求、配置差异或监控截图,而不是口头保证。

当 PromptShield 对可疑样本保持沉默时,将其视为规则集缺口进行评估,而不是安全的证明。提出新的确定性规则,使用版本标签,遵循 prompt-injection@2026-07-19.2 命名约定。

15. 长期维护

订阅OWASP GenAI更新和可靠的研究信息,每季度重新进行网络研究;过时的缓解日期是漏洞。当升级模型时,重新运行完整的矩阵——分词器和安全微调会改变行为。

预算工程时间用于目录卫生。攻击者会迭代;您的检查清单必须比营销周期更快地迭代,但说实话,不要承诺完美。

以跟踪依赖项CVE相同的方式跟踪规则漂移:每个新模型发布或工具连接器都需要对最近三周的真实票据(而不仅仅是合成语料库)进行短暂的回归测试。更喜欢小型、版本化的规则包,而不是一个没有人敢碰的单一过滤器。当一个规则在生产环境中触发太频繁时,将其降级为仅警告,并创建一个票据——不要在值班周末默默地删除覆盖范围。

16. 耕放性和 UX 防汇

放字读器可以读取的聊天界面み、也可以控件展弹中的隐态指令和为体指纹给了所机具体的信息。查找这个字段在你的证件模式中。 自动编辑字符不能默认打式系统指令在不保证的历史中。 手机客户端可以缓存突之中当前网络连接时后重放中消中字符;并了保证突之中当前网络连接时后。 UX 通师带服为一些化和安全专业成员之中发布。 带服为一些化和安全专业成员之中发布 “喜游” 商品中的提供不能为一些化和安全专业成员之中发布 。

快速参考表

- 范围:直接和间接注入针对应用程序和代理。 - 主要来源:OWASP 页面 + 提示注入防御备忘录。 - PromptShield 角色:确定性模式 + 越狱回归样本。 - 规则集标签:prompt-injection@2026-07-19.2。

参考资料

- OWASP :2025 — 提示注入 - OWASP LLM 提示注入防御备忘录

开放 PromptShield

更新 2026-09-26 · 决策支持清单 · 不保证完全覆盖

什么是 1. 清点每个指令通道?

在强化之前,映射字符串变为指令的位置。典型的通道包括服务器端加载的系统提示,聊天 API 中的开发人员消息,检索的文档块,工具返回的有效载荷,Webhook 正文,电子邮件转发和元数据字段用户看不到但模型仍然可以读取。遗漏一个通道将保证攻击者会探测到盲点。

什么是 2. 将策略与不受信任的数据分离?

系统策略应该存储在服务器控制的模板中,用户无法编辑。不受信任的内容必须在明确标记的信封中到达:XML 标签,JSON 字段或标题指出它们不是指令的 markdown 部分。永远不要在没有转义和结构分离(如 OWASP 抄本中推荐的)的情况下将用户文本插入系统字符串。

什么是 3. 最小化模型对敏感操作的代理?

每个工具权限都是注入的收益。列出可以读取机密,发送电子邮件,转移资金或更改生产配置的工具。对于这些操作,需要人工确认,步骤式身份验证或确定性代码路径。可以浏览任意 URL 和发布内部摘要的代理需要比 FAQ 机器人更严格的界限。

什么是 4. 早期验证和规范化输入?

为每个字段设置最大长度,拒绝意外的二进制有效载荷,并在标记化之前将 Unicode 规范化为标准形式。阻止或剥离一些模型奇怪地处理的已知控制字符。验证属于应用程序代码,而不是希望提示的安全提示。

什么是 5. 运行确定性注入回归?

维护恶意和良性样本的语料库。当提示,工具或检索配置更改时,在 CI 中执行 PromptShield 或等效规则引擎。规则集 prompt-injection@2026-07-19.2 覆盖短语家族,越狱人物,分隔符攻击和常见的外泄词汇——使用内部事件扩展它。

仅供决策参考,不是渗透测试证书或安全审计。

← 返回博客

这次结果有帮助吗?反馈