Audit-Vorlage
ai-llm
Prüfe deine LLM-Features so, wie es ein Angreifer und ein ehrlicher Nutzer tun würden.
Zugeordnet zu: OWASP LLM Top 10 · NIST AI RMF
So funktioniert dieses Audit
Unabhängig von Provider und Framework kartiert dieses Audit zuerst jede Stelle, an der ein LLM aufgerufen wird — und jede Trust Boundary, an der untrusted Input in einen Prompt gelangt: Nutzertext, abgerufene Dokumente, Tool-Ergebnisse. Danach prüfen zwölf Spezialisten Prompt-Injection, Jailbreaks, System-Prompt- und Secret-Leakage, Output-Handling, Tool- und Agent-Agency, RAG-Grounding, Halluzination, Evals und Kosten. Jeden Befund ordnen sie der OWASP LLM Top 10 zu und bewerten ihn von P0 bis P3. Jede Aussage ist auf ein konkretes Artefakt zurückgeführt und übersteht unabhängige Skeptiker, bevor sie eingereicht wird.
Wann du es einsetzt
RAG-Support-Bot ausliefern
Dein Assistent antwortet aus internen Docs und einer geteilten Knowledge-Base. Das Audit prüft, ob das Retrieval die Berechtigungen pro Nutzer respektiert, ob der Bot sich bei fehlendem Kontext zurückhält oder halluziniert und ob in einem abgerufenen Dokument versteckte Anweisungen den System-Prompt überschreiben können (indirekte Injection).
Einem Agenten echte Tools geben
Dein Agent kann auf Geheiss des Modells E-Mails senden, die Datenbank abfragen oder interne APIs aufrufen. Das Audit prüft den Blast-Radius jedes Tools — kann es eine destruktive oder irreversible Aktion ohne Human-Gate auslösen? —, validiert die Argumente, die das Modell erzeugt, und verfolgt jeden Output-Sink auf XSS, SQL oder eval-Injection.
Vor dem Skalieren eines öffentlichen LLM-Endpoints
Du öffnest ein KI-Feature gleich für untrusted Traffic. Das Audit sucht nach den Cost-Caps pro Nutzer und global, die ausufernde Kosten und Missbrauch stoppen, nach den Evals, die deine High-Stakes-Pfade absichern, und nach dem Provider-Retention- und PII-Handling, das du brauchst, bevor Nutzerdaten deinen Rechner verlassen.
Was du bekommst
Eine Scorecard pro Dimension, eine Trust-Boundary- und Data-Flow-Map und verifizierte Befunde als nach Priorität sortierte GitHub-Issues — jedes mit OWASP-LLM-Zuordnung, geschwärztem Repro und konkretem Vorher/Nachher-Fix.