Katharina Zweig

Weiß die KI, dass sie nichts weiß?

Ausgabe: 2026 | 2
Weiß die KI, dass sie nichts weiß?

KI-Agenten sind, so heißt es, das nächste große Ding in der Entwicklung künstlicher Intelligenz. Software also, die nicht nur Texte generiert, sondern definierte Aufgaben automatisiert und eigenständig erledigen kann. Eine Reise buchen zum Beispiel oder andere komplexe, mehrstufiger Aufgaben und Prozesse abarbeiten. Nur, ist die KI schon reif für KI-Agenten? Eine offene Frage, denn die Zweifel an den bisherigen KI-Modellen sind noch längst nicht ausgeräumt. Dennoch gilt KI als vermeintlich allwissende Antwortmaschine. Doch was KI kann, welche Qualität die Ergebnisse haben und vor allem: Was KI nicht kann, ist keineswegs klar. Solchen grundlegenden Fragen widmet sich die Informatikprofessorin und KI-Expertin Katharina Zweig in ihrem neuen Buch. Sie möchte „eine Intuition dafür entwickeln, was Sprachmodelle zuverlässig erledigen können“ (S. 11). Das beginnt damit, zu wissen, was Sprachmodelle sind und was sie tun – eine Frage, die die Autorin sehr klar beantwortet: Sprachmodelle wie ChatGPT modellieren, „wann wir welches Wort in welchem Kontext mit welcher Wahrscheinlichkeit verwenden“ (S. 59) Sie berechnen „nur die Wahrscheinlichkeit des nächsten Wortes für einen Text, der ihnen als Prompt gegeben wird“ (S. 87) Grundsätzlich formuliert bedeutet das: „Die Maschine weiß nicht, was sie tut. Sie ist nicht ‚die KI‘ mit einer allumfassenden Intelligenz, sie hat keine kommunikative Absicht, wenn sie Texte generiert, und kein Bewusstsein. Sie hat noch nicht einmal allumfassendes Wissen, auch wenn viele der generierten Sätze korrekt sind“ (S. 143) Sie kann auch nicht nachdenken, und sie weiß nicht, wie sie Texte erzeugt und kann dies auch nicht wissen. Hinzu kommt: KI-Systeme neigen dazu, zu halluzinieren. Der korrekte Begriff, so Zweig, laute „Konfabulation“, verstanden als „Generieren von Texten, die eindeutig falsch sind“ (S. 20). Das passiere bei Sprachmodellen regelmäßig, ganz einfach deshalb, weil sie  nicht zwischen Wahrheit und Unwahrheit unterscheiden können, keine zuverlässigen Denkprozesse haben, um sicherzustellen, dass ihre Schlussfolgerungen korrekt sind, und sie unfähig sind, ihre eigenen Aussagen zu überprüfen, wie Zweig einen Experten zitiert (vgl. S. 208). Nüchtern betrachtet, handele es sich um eine Software, die für einige Aufgaben sehr gut geeignet sei und für andere nicht. Dies aber ist nicht leicht abzuschätzen – und jede Behauptung einer KI prüfen zu wollen, wird schnell zu einem aufwendigen Unterfangen. Hier wird die Intuition zentral, die Katharina Zweig entwickeln möchte. Eine Intuition, was KI kann und was nicht, und wobei sie hilfreich sein kann. Dabei, dieses Gespür zu entwickeln, kann eine einfache Regel helfen, die die Autorin anbietet: „Alles, was man schneller überprüfen als schreiben kann, ist […] eine exzellente Aufgabe für Sprachmodelle“ (S. 172). Und KI-Agenten? Finger weg davon, sagt Katharina Zweig.