AI/LLM Penetration Testing

Mit der zunehmenden Integration von künstlicher Intelligenz (KI), insbesondere von Large Language Models (LLMs), in der Systemlandschaft entstehen auch neue Sicherheitsrisiken. Auf Basis unserer bisherigen Erfahrungen wenden wir eine Kombination aus Architekturreview und Penetrationstest bei der Überprüfung einer KI-Integration eines KI-Modells an. Wir stellen fest, ob Schutzmechanismen effektiv sind, und zeigen, wie Schwachstellen aktiv ausgenutzt werden können. In weiterer Folge werden in einem Design- und Architekturreview die Komponenten, Schnittstellen und Vertrauensgrenzen der Software analysiert, um mögliche Angriffsoberflächen einzuschätzen und eine Bedrohungsanalyse bereitzustellen. 

In unserer Beratungstätigkeit werden folgende Tätigkeiten durchgeführt: 

Threat Modeling 
Identifikation, Priorisierung und Strukturierung von Bedrohungen im Unternehmenskontext. Auf Basis bewährter Methoden wie STRIDE oder MITRE ATT&CK for AI werden Angriffsflächen, Bedrohungsszenarien und Testschwerpunkte abgeleitet

AI Application Testing 
Analyse des Verhaltens der Anwendung im Umgang mit Usern und externen Datenquellen. Der Fokus liegt auf Manipulationen durch Prompts, unautorisierte Zugriffe und unsichere oder unethische Ausgaben. 

AI Model Testing 
Bewertung der Robustheit und Verlässlichkeit des Modells gegenüber Manipulationsversuchen und Informationslecks. Ziel ist ein konsistentes und vertrauenswürdiges Modellverhalten.

AI Data Testing 
Im Fokus steht die Prüfung und Erkennung von Datenlecks und Zugriffsbeschränkungen.

AI Infrastructure Testing 
Bewertung der Sicherheit der Bereitstellungs- und Betriebsumgebung, einschließlich Zugriffskontrollen, CI/CD-Pipelines und Modell-Hosting. Ziel ist eine widerstandsfähige und abgesicherte Infrastruktur.

Auch bei der Testung von KI-Systemen sind folgende Arten von Penetrationstests möglich: 

• Black-Box-Tests: Untersuchung des Modellverhaltens ausschließlich über Eingaben und Ausgaben, ohne Einblick in Trainingsdaten, Architektur oder Parameter. 
• Gray-Box-Tests: Kombination aus interner und externer Sicht. Das Testteam verfügt über begrenzte Informationen, zum Beispiel zur Systemarchitektur, Prompt-Verarbeitung oder zu Zugangsdaten, um gezielte Prüfungen durchzuführen.
• White-Box-Tests: Analyse der internen Systemlogik rund um das KI-Modell, inklusive RAG-Komponenten, API-Zugriffe, Datenquellen, Berechtigungen, Prompt-Flows und Sicherheitsmechanismen, zur Identifikation von Angriffsflächen und Fehlkonfigurationen.

SBA Research orientiert sich an etablierten Standards, Normen und Best Practices.

Allianz für Cyber-Sicherheit: Leitfaden für Penetrationstests von Large-Language-Modellen (LLMs) 
OWASP: AI Testing Guide 
MITRE: ATLAS Matrix