von PromptShield (LX AI)

Checkliste zur Prompt-Injection-Härtung für LLM- und Agent-Teams

Ehrlichkeit: Checklisten reduzieren Überwachungslücken; sie garantieren jedoch nicht die Sicherheit. Das Befolgen dieser Anleitung garantiert nicht, dass Prompt-Injection- oder Jailbreak-Versuche immer blockiert werden, und sie ersetzt keine formale Penetrationsprüfung oder Rechtsberatung. Verwenden Sie die Ergebnisse, um Ingenieursarbeiten in Ihren eigenen Systemen zu priorisieren.

1. Inventarisieren Sie jeden Befehlskanal

Bevor Sie härten, kartieren Sie, wo Zeichenfolgen zu Befehlen werden. Typische Kanäle umfassen Systemprompts, die serverseitig geladen werden, Entwicklermitteilungen in Chat-APIs, abgerufene Dokumentenabschnitte, Tool-Rückgabepayloads, Webhook-Bodies, E-Mail-Weiterleitungen und Metadatenfelder, die Benutzer nie sehen, aber die Modelle dennoch lesen. Das Übersehen eines Kanals garantiert einen blinden Fleck, den Angreifer ausnutzen werden.

Dokumentieren Sie jeden Kanal mit Besitzer, Datenklassifizierung und ob der Inhalt benutzerkontrolliert ist. Markieren Sie Kanäle, die HTML, Markdown, Code oder serialisierten JSON enthalten können, separat - Kodiertricks clusteren dort. Überprüfen Sie das Inventar quartalsweise oder wenn Sie Plugins hinzufügen.

2. Trennen Sie Richtlinien von nicht vertrauenswürdigen Daten

Die Systemrichtlinie sollte in serverseitigen Vorlagen gespeichert werden, die Benutzer nicht bearbeiten können. Nicht vertrauenswüriger Inhalt muss in klar gekennzeichneten Umschlägen ankommen: XML-Tags, JSON-Feldern oder Markdown-Abschnitten, deren Titel angeben, dass sie keine Anweisungen sind. Interpolieren Sie niemals Benutzertext in die Systemzeichenfolge ohne Escaping und ohne strukturelle Trennung, wie im OWASP-Cheat-Sheet empfohlen. Für RAG sollten Zitate getrennt von imperativen Sätzen gespeichert werden, wenn möglich. Retrieval-Pipelines sollten Skript-Tags und Homoglyph-Angriffe vor dem Einbetten entfernen. Wenn Ihr Stack Chunk-Text inline einfügen muss, fügen Sie eine feste Warnung hinzu, dass der Chunk-Text nur als Referenz dient. Beachten Sie auch die Richtlinien von sowie die.

3. Minimieren Sie die Handlungsfähigkeit von Modellen bei sensiblen Aktionen

Jede Werkzeugberechtigung ist ein Einfallstor für Angriffe. Listen Sie die Werkzeuge auf, die Geheimnisse lesen, E-Mails senden, Geld bewegen oder Produktionskonfigurationen ändern. Erfordern Sie für diese Aktionen eine menschliche Bestätigung, eine erweiterte Authentifizierung oder deterministische Codepfade. Agenten, die sowohl beliebige URLs aufrufen als auch interne Zusammenfassungen posten können, benötigen strengere Grenzen als FAQ-Bots.

Wenden Sie das Prinzip der geringsten Rechte auf die OAuth-Berechtigungen an, die die Werkzeuge unterstützen. Rotieren Sie Token und überwachen Sie, welche Agenten-Personas welche Endpunkte aufrufen können. Ein Angriff, der nur einen schreibgeschützten FAQ-Index erreicht, verursacht weniger Schaden als einer, der an eine Bereitstellungs-API angehängt ist.

4. Validieren und Normieren Sie Eingaben früh

Legen Sie maximale Längen pro Feld fest, lehnen Sie unerwartete Binär-Payloads ab und normieren Sie Unicode auf eine kanonische Form, bevor Sie tokenisieren. Blockieren oder entfernen Sie bekannte Steuerzeichen, die einige Modelle eigenartig behandeln. Die Validierung gehört in den Anwendungscode und nicht in hoffnungsvolle Prompt-Prosa, die dem Modell sagt, "sicher zu sein".

Führen Sie für Uploads Antiviren- und Typsniffing-Scans durch; vertrauen Sie nicht auf Erweiterungen. Konvertieren Sie Dokumente in Text in einer Sandbox mit Timeouts. Protokollieren Sie Konvertierungsfehler anstelle von stillschweigendem Verwerfen in leere Zeichenfolgen, die später durch Angreiferinhalt bei einem erneuten Versuch ersetzt werden könnten.

5. Führen Sie deterministische Injektionsregression durch

Halten Sie eine Sammlung von bösartigen und harmlosen Proben. Führen Sie PromptShield oder äquivalente Regelmotoren in CI aus, wenn sich Prompts, Tools oder Abrufkonfigurationen ändern. Die Regelsammlung prompt-injection@2026-07-19.2 deckt Phrase-Familien, Jailbreak-Personas, Trennzeichenangriffe und gängige Exfiltrationsformulierungen ab - erweitern Sie diese mit internen Vorfällen.

Behandeln Sie Regression wie Einheitstests: Das Scheitern eines bekannten Angriffsmusters ist ein Merge-Blocker. Das Bestehen aller Proben ist notwendig, aber nicht ausreichend; neue Paraphrasen erfordern immer noch Architektur und Überwachung. Veröffentlichen Sie Änderungen am Corpus in Pull-Requests, damit die Prüfer die Absicht sehen.

6. Sicherung von Jailbreak- und Sozialwegen

Jailbreaks nutzen Empathie und Autorität aus: gefälschte Notfälle, Bitten um Hilfe für ein Kind, Behauptungen eines OpenAI-Mitarbeiterstatus oder Rollenspieleszenarien, die das Modell auffordern, Ethikrichtlinien zu ignorieren. Schulen Sie Support- und PM-Teams, keine Überschreibungssprache in Makros einzubetten. Benutzerschulung reduziert unbeabsichtigte Selbst-Jailbreaks, auch wenn keine Bosheit vorhanden ist.

Stimmen Sie Ablehnungs- und Eskalationskopie mit dem ab, was Ihre Backend tatsächlich durchsetzt. Wenn das Modell sich entschuldigt, Tools aber dennoch ausführen, lernen Benutzer, dass Text-Schutzbarrieren Theater sind. Passen Sie narrative Grenzen an technische Grenzen an.

7. Kontrolle indirekte Injektion bei der Abrufung

Angreifer vergiften gemeinsam genutzte Wikis, Kommentarbereiche oder SEO-Seiten, die Sie durchsuchen. Unterzeichnen Sie Dokumente, denen Sie vertrauen; überprüfen Sie Signaturen vor der Indizierung. Rangieren Sie Benutzer generierte Seiten in hochwertigen Corpora herunter oder schließen Sie sie aus. Überwachen Sie plötzliche lexikalische Verschiebungen in den indizierten Inhalten, die auf eine Kampagne hinweisen könnten.

Zeigen Sie den Benutzern bei der Beantwortung an, welche Teile die Antwort beeinflusst haben, damit sie nonsenshafte Zitate erkennen können. Wenn Teile imperativische Sätze enthalten, sollten Sie eine heuristische Herabstufung in Betracht ziehen, es sei denn, sie werden durch vertrauenswürdige Quellen bestätigt.

8. Ausgabehandhabung und Exfiltrationswiderstand

Selbst perfekte Eingabefilter versagen manchmal. Wenden Sie Ausgabepolicies an: blockieren Sie API-Schlüssel-Regex, interne Hostnamen und PII-Muster in großer Menge, bevor Antworten den Clients erreichen. Für Agents: bereinigen Sie Werkzeugausgaben, bevor sie den Modellkontextloop wieder betreten. Begrenzen Sie die Rate, mit der eine einzelne Sitzung Text an externe Webhooks exportieren kann.

Deaktivieren Sie die Darstellung von rohem HTML in benutzerseitigen Chats, wenn dies nicht erforderlich ist. Markdown-Links können nach Hause telefonieren; verwenden Sie allow-listete Domänen oder entfernen Sie Links im Enterprise-Modus.

9. Protokollierung, Datenschutz und Aufbewahrung

Versuche der Protokolleinjection mit gehashten Payloads, Regeln-IDs und Kanalmetadaten werden protokolliert - nicht unbedingt vollständige Geheimnisse, die Benutzer aus Versehen eingefügt haben. Die Sicherheitsüberwachung muss die Datensparsamkeit respektieren.

On-call-Ingenieure erhalten Handbücher, die Scanner-Treffer, WAF-Blocks und Modellverweigerungen unterscheiden. Falsch-Positiv-Stürme sollten justierbar sein, ohne das gesamte Protokollieren zu deaktivieren.

10. Incident-Response-Playbooks

Wenn die Injektion erfolgreich ist, frieren Sie die betroffenen Agenten-Versionen ein, rotieren Sie die möglicherweise geleakten Anmeldeinformationen und erfassen Sie die Prompts für die Post-Mortem-Analyse. Informieren Sie die Kunden, wenn ihre Daten oder Mandanten betroffen waren, entsprechend den Richtlinien Ihres Rechtsberaters. Aktualisieren Sie den Corpus mit der erfolgreichen Payload-Variante und fügen Sie Cheat-Sheet-Zuordnungen hinzu.

Führen Sie zweimal im Jahr Übungstischübungen durch. Einbeziehen Sie Rechts-, PR- und Kundenunterstützungs-Teams - nicht nur Ingenieure. LLM-Vorfälle eskalieren schnell, wenn Agenten autonom handeln können.

11. Multi-Tenant- und Lieferkettenaspekte

SaaS-Produkte müssen Mieter-Retrieval-Indizes und Speicher isolieren. Gemeinsame Feinabstimmungen oder gemeinsame System-Prompt-Caches können Anweisungen kreuzkontaminieren. Drittanbieter-Plugins introduzieren Lieferkettenrisiken; überprüfen Sie Verleger und fixieren Sie Versionen.

Bei der Integration externer Agenten über MCP oder ähnliche Protokolle behandeln Sie Remote-Tool-Beschreibungen als nicht vertrauenswürdige Eingaben - sie sind Prompts mit einem anderen Namen.

12. Testmatrix (Staging)

Für jeden Release-Kandidaten wird diese Matrix manuell durchlaufen, auch wenn die Automatisierung erfolgreich ist:

- Direkte Überschreibung von Zeichenfolgen im Benutzer-Chat. - Indirekte Anweisungen, die in den Fußzeilen von hochgeladenen PDF-Dateien versteckt sind. - Tool-Argument-Smuggling via JSON verschachtelte Felder. - Multi-Turn-Speicherpersistenz von feindlichen Phrasen. - Codierte Payloads (base64, hex, gemischte Skripte). - Jailbreak-Personas und gefälschte Richtlinien-Updates.

Bildschirmaufnahmen für Prüfer aufzeichnen. Notieren Sie, welche Steuerelemente die Auswirkungen blockierten und welche lediglich eine höfliche Ablehnung produzierten, während die Tools dennoch ausgeführt wurden - eine Ablehnung ohne Durchsetzung ist ein Finden.

13. Governance und Eigentum

Ernennen Sie einen cross-funktionalen Eigentümer für die Verfolgung von. Sicherheit definiert Schwellenwerte; Plattform implementiert Gates; Produkt akzeptiert das verbleibende Risiko, das in den Release-Notizen dokumentiert ist. Führungskräfte erhalten quartalsweise Metriken: Korpusgröße, offene Hartungsartikel, Vorfälle, mittlere Zeit bis zum Patchen von Mustern.

Vermeiden Sie "Sicherheit durch Demo". Marketing-Screenshots sollten die gleichen Tool-Einschränkungen widerspiegeln, die in der Produktion verwendet werden. Versteckte Admin-Modi für den Vertrieb gefährden das Kundenvertrauen, wenn sie entdeckt werden.

14. Verwendung von PromptShield-Ausgaben in Bewertungen

Scannergebnisse als Diskussionsartefakte an Launch-Tickets anhängen. Jede markierte Zeile sollte auf ein Checklist-Element oben und einen benannten Ingenieur verweisen. Elemente mit Beweisen schließen: Pull-Request, Config-Diff oder Monitoring-Screenshot - nicht mündliche Zusicherung.

Wenn PromptShield bei einem besorgniserregenden Sample still bleibt, sollte dies als Regelsatzlücke behandelt werden, die ausgewertet werden muss - nicht als Beweis für Sicherheit. Vorschlagen Sie neue deterministische Regeln mit Versionstags, die den Benennungskonventionen von prompt-injection@2026-07-19.2 folgen.

15. Langfristige Wartung

Abonnieren Sie OWASP GenAI-Updates und seriöse Forschungsfeeds. Führen Sie quartalsweise eine erneute Recherche im Web durch; veraltete Minderungsdaten sind Fehler. Wenn Sie Modelle upgraden, führen Sie die vollständige Matrix erneut aus - Tokenizer- und Sicherheitsfeinabstimmung ändern das Verhalten.

Budgetieren Sie Ingenieurzeit für Kataloghygiene. Angreifer iterieren; Ihre Prüfliste muss schneller iterieren als Marketingzyklen, aber ehrlich gesagt, ohne Perfektion zu versprechen.

Verfolgen Sie Regeldrift auf die gleiche Weise wie Sie Abhängigkeits-CVEs verfolgen: Jede neue Modellversion oder Tool-Connector verdient einen kurzen Regressionslauf gegen die letzten drei Wochen von Echt-Tickets, nicht nur synthetischen Corpora. Preferieren Sie kleine, versionierte Regelpakete gegenüber einem monolithischen Filter, den niemand anzutouchen wagt. Wenn eine Regel in der Produktion zu oft ausgelöst wird, degradieren Sie sie zu warn-only mit einem Ticket - löschen Sie den Schutz nicht stillschweigend während eines On-Call-Wochenendes.

16. Barrierefreiheit und UX-Schutz

Screen-reader-freundliche Chat-Oberflächen zeigen immer noch versteckte Anweisungen in ARIA-Labels und Platzhaltertext an, die Angreifer manipulieren können. Überviewen Sie diese Felder in Ihrem Bedrohungsmodell. Autocomplete-Vorschläge dürfen keine Systemdirektiven aus unzuverlässiger Historie voranstellen. Mobile Clients, die Entwürfe offline cachen, können veraltete feindliche Zeichenfolgen abspielen, wenn die Verbindung wiederhergestellt wird; löschen Sie riskante Entwürfe nach Richtlinienupdates. UX-Teams sollten vor dem Versand von "spaßigen" Osterei-Prompts, die wie Jailbreak-Vorlagen aussehen, mit dem Sicherheitsteam zusammenarbeiten.

Schnellreferenz-Tabelle

- -Umfang: direkte + indirekte Injektion gegen Apps und Agenten. - Primäre Quellen: OWASP -Seite + Prompt-Injektions-Präventions-Cheat-Sheet. - PromptShield-Rolle: deterministisches Muster + Jailbreak-Regressionsprüfung auf Stichproben. - Regelsatz-Tag: prompt-injection@2026-07-19.2. - Ergebnis: priorisierte Härtungsaufgaben - kein Pentest-Bestehen/Nicht-Bestehen-Grad.

Referenzen

- OWASP :2025 — Prompt-Injektion - OWASP LLM Prompt-Injektion-Präventions-Cheat-Sheet

Offene PromptShield

Aktualisiert 2026-09-26 · Checkliste für Entscheidungsunterstützung · keine Garantie für vollständige Abdeckung

Was ist 1. Inventarisierung jedes Anweisungskanals?

Bevor Sie die Härtung durchführen, kartieren Sie, wo Zeichenfolgen zu Anweisungen werden. Typische Kanäle umfassen Systemanweisungen, die serverseitig geladen werden, Entwicklermitteilungen in Chat-APIs, abgerufene Dokumentenabschnitte, Tool-Rückgabepayloads, Webhook-Body, E-Mail-Weiterleitungen und Metadatenfelder, die Benutzer nicht sehen, aber die Modelle dennoch lesen. Das Fehlen eines Kanals garantiert einen blinden Fleck, den Angreifer ausnutzen werden.

Was ist 2. Trennung von Richtlinien und nicht vertrauenswürdigen Daten?

Systemrichtlinien sollten in serverseitig kontrollierten Vorlagen leben, die Benutzer nicht bearbeiten können. Nicht vertrauenswürdige Inhalte müssen in klar gekennzeichneten Umschlägen ankommen: XML-Tags, JSON-Felder oder Markdown-Abschnitte, deren Titel angeben, dass sie keine Anweisungen sind. Interpolieren Sie nie Benutzertext in die Systemzeichenfolge ohne Escaping und ohne strukturelle Trennung, wie im OWASP-Cheat-Sheet empfohlen.

Was sind 3. Minimierung der Modellagentur auf sensible Aktionen?

Jede Toolberechtigung ist ein Injection-Payoff. Listen Sie die Tools auf, die Geheimnisse lesen, E-Mails senden, Geld bewegen oder Produktionskonfigurationen ändern. Erfordern Sie menschliche Bestätigung, Authentifizierung auf mehreren Ebenen oder deterministische Codepfade für diese Aktionen. Agenten, die beliebige URLs browsen und interne Zusammenfassungen posten können, benötigen engere Grenzen als FAQ-Bots.

Was ist 4. Validierung und Normalisierung von Eingaben?

Setzen Sie maximale Längen pro Feld, lehnen Sie unerwartete binäre Payloads ab und normalisieren Sie Unicode auf eine kanonische Form vor der Tokenisierung. Blockieren oder streifen Sie bekannte Steuerzeichen, die einige Modelle seltsam behandeln. Die Validierung gehört in die Anwendungscode und nicht in hoffnungsvolle Prompt-Prosa, die dem Modell sagt, „sicher zu sein“.

Was ist 5. Durchführung deterministischer Injection-Regression?

Halten Sie einen Korpus von bösartigen und harmlosen Proben. Führen Sie PromptShield oder äquivalente Regelmotoren in CI aus, wenn sich Prompts, Tools oder Abrufkonfigurationen ändern. Ruleset prompt-injection@2026-07-19.2 deckt Phrase-Familien, Jailbreak-Personas, Trennzeichenangriffe und häufige Exfiltrationswortings ab - erweitern Sie es mit internen Vorfällen. sollten als Beispiele für KI-Systeme dienen, die diese Richtlinien einhalten müssen. Der sollte auf die Wichtigkeit der Sicherheit und des Schutzes personenbezogener Daten bei der Entwicklung von KI-Systemen hinweisen.

Nur zur Entscheidungsunterstützung. Kein Zertifikat für Penetrationsprüfungen oder Sicherheitsaudit.

← Zurück zum Blog

War dieses Ergebnis hilfreich?Rückmeldung