Eine Prompt Injection ist eine Form von Cyberangriff, die sich gezielt gegen große Sprachmodelle (Large Language Models, LLMs) richtet. Dabei verschleiern Angreifer*innen schädliche Eingaben als harmlose Anfragen, um generative KI-Systeme dazu zu bringen, sensible Informationen preiszugeben, falsche Inhalte zu erstellen oder andere schädliche Aktionen auszuführen.

Um auf dieses Thema aufmerksam zu machen, lud der OCG Arbeitskreis IT-Sicherheit zum Expert Talk. Sebastian Schrittwieser (Senior Scientist in der Forschungsgruppe Security & Privacy, Universität Wien) und Andreas Ekelhart (Senior Researcher und Senior Developer bei SBA Research) demonstrierten  die Bedrohung durch Prompt Injections anhand mehrerer Live-Demos und stellen mögliche Gegenmaßnahmen für Anwendungsentwickler*innen vor. Ingrid Schaumüller-Bichl und Edgar Weippl vom OCG Arbeitskreis IT-Sicherheit führten durch den Abend.

Das Fazit des eindrücklichen Vortrags:

• Die aktuellen LLMs sind alle anfällig für Prompt Injections Angriffe, besonders, wenn das LLM Zugriff auf externe Quellen hat.
• Es gibt Analogien zu traditioneller (Web-)Applikationssicherheit, da nicht vertrauenswürdige (User-)Eingaben als "Code" interpretiert werden
• Aktuell gibt es keine einfachen Gegenmaßnahmen, daher ist die Sensibilisierung für dieses Thema enorm wichtig.