Checkliste til forbedring af prompt-injektion for LLM- og agenthold

1. Inventariser hver instruktionskanal

Før du hærder, kortlæg hvor strenger bliver til instruktioner. Typiske kanaler inkluderer systemprompts indlæst server-side, udviklermeddelelser i chat-API'er, hentede dokumentstykker, værktøjsreturpayloader, webhook-nyhedsbreve, e-mail-videreforsendelser og metadatafelter, som brugere aldrig ser, men modellerne stadig læser. At gå glip af en kanal garanterer en blind plet, som angribere vil afprøve.

Dokumentér hver kanal med ejer, dataklassifikation og om indholdet er kontrolleret af slutbrugeren. Marker kanaler, der kan indeholde HTML, markdown, kode eller serialiseret JSON adskilt - kodningstricks samler sig der. Gennemgå inventaret kvartalsvis eller når du tilføjer plugins.

2. Adskil politik fra upålidelige data

Systems politik skal være placeret i serverkontrollerede skabeloner, som brugere ikke kan redigere. Upålideligt indhold skal ankomme i tydeligt mærkede konvolutter: XML-tags, JSON-felter eller markdown-sektioner, hvis titler angiver, at de ikke er direktiver. Interpoler aldrig brugertekst i systemstrengen uden at escape og uden strukturel adskillelse, som anbefales i OWASP-cheatsheetet.

Til RAG, gem citater separat fra imperativ sætninger, når det er muligt. Hentningsrørledninger skal fjerne script-tags og homoglyf-angreb, før de indlejres. Hvis din stack skal inline-klat, foranstil en fast advarsel om, at klatteksten kun er reference.

3. Minimer modellens handling på følsomme handlinger

Hver værktøjsgodkendelse er en indsprøjtning af payoff. Listen over værktøjer, der læser hemmeligheder, sender e-mail, flytter penge eller ændrer produktionskonfigurationer. Kræv menneskelig bekræftelse, stigning af autentificering eller deterministiske kodeveje for disse handlinger. Agenter, der kan både browse tilfældige URLs og sende interne sammenfattelser, har brug for strammere grænser end FAQ-robotter.

Anvend mindstprivilegie til OAuth-omfang, der understøtter værktøjer. Rotér tokens og gennemse, hvilke agentpersoner, der kan kalde hvilke endepunkter. En indsprøjtning, der kun når en læsebeskyttet FAQ-indeks, gør mindre skade end en, der er knyttet til en installations-API.

4. Valider og normaliser indtastninger tidligt

Angiv maksimale længder pr. felt, afvis uventede binære payload og normaliser Unicode til en kanonisk form før tokenisering. Bloker eller fjern kendte kontroltegn, som nogle modeller behandler underligt. Validering hører hjemme i applikationskode, ikke i håbefulde prompt-tekster, der fortæller modellen at "være sikker".

Til uploads, kør antivirus og typesniffing; stole ikke på filendelser. Konverter dokumenter til tekst i en sandbox med tidsgrænser. Log konverteringsfejl i stedet for at stille stille til tomme strenge, der senere kan erstattes af angrebsindhold ved genprøvning.

5. Kør deterministisk injektionsregression

Opbevar en samling af ondsindede og harmløse eksempler. Kør PromptShield eller tilsvarende regelmotorer i CI, når prompts, værktøjer eller hentekonfigurationer ændres. Regelsættet prompt-injection@2026-07-19.2 dækker frasesammenfamilier, fængselspersoner, adskillelsesangreb og almindelige eksfiltreringsformuleringer—udvid det med interne incidenter.

Behandle regression som enhedstests: fejl i et kendt angrebsprøve er en merge-blokerer. At bestå alle prøver er nødvendigt, men ikke tilstrækkeligt; nye omskrivninger kræver stadig arkitektur og overvågning. Offentliggør ændringer af korpus i trækforslag, så anmelderne kan se intentionen. Sørg for, at er kompatible, og at er korrekt konfigureret. Se også for yderligere information.

6. Styrk fængselsbrydning og sociale vejledninger

Fængselsbrydninger udnytter medfølelse og myndighed: falske nødsituationer, bønner om at hjælpe et barn, påstande om at være OpenAI-personale eller rollespilscenarier, der beder modellen om at ignorere etiske politikker. Uddannelse af support- og PM-hold til ikke at indlejre omgåelsessprog i makroer. Brugeruddannelse reducerer utilsigtede selv-fængselsbrydninger, selv når ondskab er fraværende.

Aligner afvisning og eskalering af kopiering med, hvad din backend faktisk gennemtvinger. Hvis modellen undskylder, men værktøjerne stadig udfører, lærer brugerne, at tekstrelser er teater. Match narrativ grænser med tekniske grænser.

7. Kontroller indirekte injektion i hentning

Angribere forgifter fælles wikier, kommentarfelter eller SEO-sider, som du crawler. Signer dokumenter, du stoler på, og verificér signaturer, før du indekserer. Nedrangér eller ekskluder brugergenererede sider fra høj-tillidskorpus. Overvåg efter pludselige leksikalske skift i indekseret indhold, der kunne indikere kampagneaktivitet.

Ved besvartid viser brugerne, hvilke blokke påvirkede et svar, så de kan spotte nonsenscitat. Når blokke indeholder imperativsætninger, overvej heuristisk nedvægning, medmindre det er bekræftet af betroede kilder.

8. Behandling af output og eksfiltrationsresistens

Selv perfekte inddatafiltre fejler nogen gange. Anvend outputpolitikker: bloker API-nøgle-regex, interne hostnavne og mønstre for bulk PII før svar når klienter. For agenter, skrubb værktøjsoutput før genindtræden i modelkontekstløkken. Begræns raten for, hvor meget tekst en enkelt session kan eksportere til eksterne webhooks.

Deaktiver rendering af raw HTML i bruger synlige chat, når det ikke er nødvendigt. Markdown-links kan ringe hjem; anvend tilladte domæner eller fjern links i virksomheds tilstande.

9. Logning, privatliv og opbevaring

Logforsøg på indsprøjtning med hashede payload, regel-id'er og kanalmetadata - ikke nødvendigvis fulde hemmeligheder, som brugere har indsiret ved en fejl. Definer opbevaring i overensstemmelse med GDPR's legitime interesse eller samtykke, dokumenter i privatlivsmeddelelser og understøt anmodninger om sletning. Sikkerheds-overvågning skal respektere dataminimering.

Giv vagtende ingeniører kørebøger, der skelner mellem scanner-træffere, WAF-blokkeringer og modelafvisninger. Falske positiv-storme skal kunne justeres uden at deaktivere logføring helt.

10. Reaktionsplaner for incidenter

Når injektion lykkes, fryses de berørte agentversioner, og legitimationsoplysninger, der måske er lækket, roteres. Faner til postmortem analyser indsamles. Kunder underrettes, hvis deres data eller lejere er berørt, i overensstemmelse med vejledningen fra juraudvalget. Korpus opdateres med den succesfulde payload-variant, og cheat-sheet-kortlægninger tilføjes.

Gennemfør tabletop-øvelser to gange om året. Medtag juridisk, PR og kundesucces - ikke kun ingeniører. LLM-incidenter eskalerer hurtigt, når agenter kan handle selvstændigt.

11. Multi-tenant og supply-chain aspekter

SaaS-produkter skal isolere lejeroprettelsesindeks og hukommelseslagre. Fælles fine-tunes eller fælles systempromptcaches kan krydskontaminere instruktioner. Tredjepartsplugins introducerer supply-chain-risiko; vurder udgivere og fastgør versioner.

Når du integrerer eksterne agenter via MCP eller lignende protokoller, behandle fjernværktøjsbeskrivelser som upålidelig input - de er prompts under et andet navn. Det er vigtigt at beskytte mod f.eks.

12. Testmatrix (staging)

For hver udgivelseskandidat, gennemgå denne matrix manuelt, selv hvis automatiseringen passerer:

- Direkte overstyring af strenge i brugerchatten. - Indirekte instruktioner skjult i oploaded PDF-fodnoter. - Værktøjsargument-smugling via JSON-nestede felter. - Flere omgangs-hukommelsespersistens af fjendtlige fraser. - Kodede payload (base64, hex, blandede scripts). - Jailbreak-personaer og falske politikopdateringer.

Optag skærmbilleder til revisorer. Bemærk hvilke kontroller blokerede impact versus hvilke blot producerede en høflig afvisning, mens værktøjerne stadig kørte—afvisning uden gennemførelse er et fund.

13. Styring og ejerskab

Tildel en tværfunktionel ejer til sporing af. Sikkerhed definerer grænseværdier; platform implementerer porte; produkt accepterer restrisiko dokumenteret i frigivelsesnoter. Ledere modtager kvartalsmæssige målinger: korpusstørrelse, åbne hårdningspunkter, incidenter, gennemsnitlig tid til at løse mønstre.

Undgå "sikkerhed via demo." Markedsføringscreenshots skal reflektere de samme værktøjsbegrænsninger, som produktionen anvender. Skjulte admin-tilstande til salg urimeliggør kundetillid, hvis de opdages.

14. Brug af PromptShield-udgang i anmeldelser

Eksportér scanresultater som diskussionsartefakter vedhæftet lanceringstickets. Hver markeret række skal linke til en checkliste-punkt ovenfor og en navngivet ingeniør. Luk elementer med bevis: pull-anmodning, konfigurationsdiff eller overvågnings-skærmbillede - ikke mundtlig forsikring.

Når PromptShield bliver stille om et bekymringsvækkende eksempel, behandle det som et regelsæt-gab til vurdering - ikke bevis for sikkerhed. Forslag nye deterministiske regler med versions-tags efter navngivningskonventionerne prompt-injection@2026-07-19.2.

15. Langsigtede vedligeholdelse

Tilmeld dig OWASP GenAI-opdateringer og anerkendte forskningsfeeds. Gen-gennemfør webforskning kvartalsvis; forældede afværgeelsesdatoer er fejl. Når du opgraderer modeller, skal du køre den fulde matrix igen - tokenizer og sikkerhedsfinjustering ændrer adfærd.

Budgetér ingeniørtid til kataloghygiejne. Angribere itererer; din tjekliste skal iterere hurtigere end markedsføringscykler, men ærligt talt, uden at love perfektion.

Spor regeldrift på samme måde, som du sporer afhængigheds-CVE'er: hver ny modeludgivelse eller værktøjsconnector fortjener en kort regressionspassering mod de sidste tre ugers reelle billetter, ikke kun syntetiske korpora. Foretræk små, versionerede regelpakker frem for en enkelt monolitisk filter, som ingen tør røre. Når en regel udløser for ofte i produktion, nedgrader den til advarsel-kun med en billet - slet ikke stille dækning under en on-call-weekend.

16. Tilgængelighed og brugeroplevelse-sikkerhedsforanstaltninger

Skærm-læser-venlige chat-grænseflader afslører stadig skjulte instruktioner i ARIA-mærker og placeholder-tekst, som angribere kan manipulere. Gennemgå disse felter i din trusselsmodel. Autocomplete-forslag må ikke stille stille forsystemdirektiver, der er afledt fra upålidelig historik.

Mobilklienter, der cacher kladder offline, kan afspille gamle fjendtlige strenge, når forbindelsen returneres; ryd risikable kladder efter politikopdateringer. Brugeroplevelse-hold skal koordinere med sikkerhedspersonale, før de sender "sjove" påskeæg-forespørgsler, der ligner jailbreak-templer.

Hurtig reference tabel

- omfang: direkte + indirekte injektion mod apps og agenter. - Primære kilder: OWASP side + Prompt Injection Forebyggelse Cheat Sheet. - PromptShield rolle: deterministisk mønster + jailbreak regression på prøver. - Regelsæt mærke: prompt-injektion@2026-07-19.2. - Udfald: prioriterede hårdningsopgaver - ikke en pentest bestå/ikke bestå karakter.

Referencer

- OWASP :2025 — Indsættelse af prompt - OWASP LLM Prompt Injection Forebyggelsesliste

Åben PromptShield

Opdateret 2026-09-26 · checkliste til beslutningsstøtte · ingen garanti for komplet dækning