Qualitätssicherung bei generativen KI-Applikationen: Analyse von Chatverläufen eines KI-basierten Chatbots der Suchthilfe

Kurzzusammenfassung in leicht verständlicher Sprache

Die Qualitätssicherung des KI-basierten Chatbots SuchtGPT ist eine zentrale Aufgabe, weil KI-Anwendungen in der Suchthilfe hohe Qualität aufweisen müssen, um angemessen zu unterstützen. In diesem Forschungsvorhaben wollten wir herausfinden, wie der Chatbot genutzt wird und welche Qualität er aktuell aufweist. Dafür wurden Chatverläufe auf Basis einer Stichprobe untersucht. Die Untersuchung zeigt, dass viele Fachkräfte, aber auch Ratsuchende den Chatbot mit unterschiedlichen Anliegen nutzen. Diese Ergebnisse können helfen, den weiteren Entwicklungs- und Optimierungsbedarf von SuchtGPT zu identifizieren.

Abstract

Hintergrund und Fragestellung
Durch das Projekt SuchtGPT hat die Anwendung eines KI-basierten Chatbots Einzug in die Suchthilfe erhalten. Damit einher gehen Potenziale wie eine niederschwellige Kontaktaufnahme zum Suchthilfesystem sowie einer qualitativ hochwertigen Informationsvermittlung durch die Nutzung angemessener Kontextinformationen. Seit September 2025 ist der Chatbot öffentlich zugänglich, wodurch sich die Frage stellt, ob die primäre Zielgruppe von ratsuchenden Personen, insbesondere von einer Suchterkrankung Betroffene sowie Angehörige, erreicht und angemessen unterstützt wird und wie sich die Qualität der KI-generierten Antworten im realen Einsatz zeigt. Zudem sollen durch diese Untersuchungen Weiterentwicklungs- und Optimierungsbedarfe herausgearbeitet werden.

Methoden
In einem monatlichen Rhythmus wird eine Stichprobe von Chats supervidiert und Antworten bei Bedarf entsprechend definierten Fehlerkategorien zugeordnet. Ziel ist es, Fehler zu identifizieren und Optimierungsbedarfe herauszuarbeiten. Im Rahmen einer tiefergehenden Analyse werden zufällig ausgewählte Chatverläufe sowohl quantitativ als auch qualitativ ausgewertet, um weitergehende Erkenntnisse zu Gesprächsinhalten und -verläufen systematisch zu erfassen.

Ergebnisse
Im Rahmen der Supervision wurden bisher keine kritischen Fehler identifiziert. Ein hoher Anteil der Nutzung erfolgt durch Fachkräfte, während die primäre Zielgruppe der Ratsuchenden bislang nur in begrenztem Umfang erreicht wird. Erste Auswertungen zur vertiefenden Analyse weisen darauf hin, dass der Chatbot von Fachkräften häufig zur inhaltlichen Unterstützung genutzt wird, aber auch, dass ratsuchende Personen sich mit Fragen zu ihrem Konsumverhalten, zur Unterstützung bei einem Abstinenzwunsch oder zum Umgang mit konsumierenden Angehörigen an SuchtGPT wenden. Zentrale Fragen, die sich daraus ergeben, beziehen sich auf die weitere Qualitätssicherung des Chatbots sowie eine stetige Nachjustierung und Optimierung, um den unterschiedlichen Nutzer*innengruppen gerecht zu werden.

Diskussion und Schlussfolgerung
Die bisherigen Befunde deuten darauf hin, dass KI-basierte Angebote in der Suchthilfe fachlich valide implementiert werden können. Die kontinuierliche Supervision sowie die tiefergehende Analyse von Chats stellen ein zentrales Instrument der Qualitätssicherung und Weiterentwicklung dar.

Interessenskonflikte sowie Erklärung zur Finanzierung
Ich bzw. die Koautorinnen und Koautoren erklären, dass während der letzten 3 Jahre keine wirtschaftlichen Vorteile oder persönlichen Verbindungen bestanden, die die Arbeit zum eingereichten Abstract beeinflusst haben könnten.