Wenn wir mit Large Language Models (LLMs) wie ChatGPT oder Gemini interagieren, passiert es oft, dass wir unsere Art und Weise zu denken auf diese Modelle projizieren. Es bietet sich an, denn die Outputs dieser LLMs sind nicht nur überzeugend, sondern auch kaum mehr von menschgemachten Texten zu unterscheiden. Dass das ein Trugschluss ist und warum es deshalb produktiv sein kann, LLMs aus der Perspektive der Linguistik anstatt anderer Disziplinen wie den Neurowissenschaften zu reflektieren, legt Martin Warnke in diesem Buch dar. Um diesen Punkt zu untermauern, baut er nicht nur auf unterschiedlichste Wissenschaftler:innen aus den Bereichen der Linguistik und Informatik auf, sondern macht mit dem Vergleich zur jüdischen Mystik, der Kabbala, auch greifbar, welchen Weltvorstellungen und damit auch Limitationen LLMs unterliegen.
Wie LLM’s „denken“
Martin Warnke führt mit einem Exkurs um Frank Rosenblatts Perceptron in die Funktionsweise heutiger LLMs ein. Diese Maschine lernt, Ähnlichkeiten in Wahrnehmungsdaten zu unterscheiden, indem sie eine Vielzahl statistischer Angaben in Form von Matrizen auswertet. Das Erlernte wird also probabilistisch erarbeitet, anstatt programmiert zu werden. Dabei orientiert sich diese Form der Künstlichen Intelligenz (KI), die subsymbolische, konnektionistische KI, an physiologischen Methoden wie dem menschlichen Nervensystem und versucht, Modelle wie den menschlichen Sehsinn zu imitieren, indem sie Gehirnaktivitäten simuliert. Diese Idee des maschinellen Lernens in Form von Sinneseindrücken bildet den Grundstein für das, was wir heute mit KI und vor allem LLMs assoziieren, resultiert aber, wie Warnke argumentiert, in einem falschen Bild.
Um zu verstehen, warum dieses Bild verfälscht ist und wie wir besser hinter die Kulissen von LLMs blicken können, führt Warnke in eine Theorie der Linguistik ein: die distributionelle Semantik nach Zellig Sabbetai Harris. Sie beschreibt im Kern die Idee, dass Sprache zu ihrer Beschreibung keiner Metasprache bedarf, weil sie in ihrer gesprochenen und geschriebenen Form ihre eigene Metasprache darstellt. Regeln wie Grammatik ergeben sich also aus der Anwendung, genauso wie sich Syntax oder Semantik aus der Empirie definieren. Sprachliche Strukturen lassen sich also nach dieser Theorie vollkommen durch statistische Merkmale erklären, oder anders ausgedrückt: Text führt zu Text. Nach diesem Prinzip bleibt aber die Frage nach der Bedeutung offen, was uns zu dem Phänomen der Halluzinationen bringt, die wir heute in KI-Modellen erleben.
LLMs produzieren also die Begriffe und Zusammenhänge ihrer Antworten aus rein statistischen Analysen. Für sie existiert demnach kein Weltbezug oder ein reales Objekt hinter den Zahlen, die ihre Trainingsdaten formen. Kombiniert man diese Ausgangslage mit dem Anspruch, dass LLMs Sätze produzieren können müssen, die noch nie festgehalten wurden, ergibt sich das Problem der Halluzinationen. Technisch gesehen ist es kein Problem, sondern ein Nebenprodukt der Methode. Solange eine Wortfolge statistisch sinnvoll ist, wird das Modell diese als vollwertige Antwort ausgeben, da für sie keine Möglichkeit existiert, einen Abgleich mit der Realität zu vollziehen. Diesen Mechanismus hat Rosenblatt schon bei seinem Perceptron identifiziert. Deshalb können solche Modelle mit vollster Überzeugung halluzinieren, ohne dass es eine Möglichkeit gibt, ihnen diese Fähigkeit vollkommen und langfristig zu nehmen. Dafür müsste Bedeutung vollkommen in Grammatik aufgehen können, diese orientiert sich jedoch nicht nur an der Sprache, sondern auch an der Realität.
Die Welt zum Text
Was wäre aber, wenn die Realität selbst rein an Texten ausgerichtet wäre? Diese Vorstellung findet sich in der jüdischen Mystik, der Kabbala wieder. Hier ist die Bedeutung ein intrinsisches Gut der Sprache und entsteht durch die Interpretation der Schrift und ihrer Komposition. Dabei nimmt die Tora als Schriftstück die Rolle eines Absolutums ein, dem nichts vorausgeht. Denn vor der Sprache war nur Gott und Gott hatte keine Metasprache. Damit stellt die kabbalistische Lektürepraxis für Warnke ein Paradebeispiel für die Statistik hinter der Welt von LLMs dar. Verstehen, Denken und Reflektieren werden in den Hintergrund gedrängt, um der Fokussierung auf den Text ohne Welt Platz zu machen. In der jüdischen Mystik entstanden dadurch Perspektiven, die aus den ersten sieben Worten der Tora ableiteten, dass die Welt 7000 Jahre alt ist. Im Silicon Valley entstehen dadurch Maschinen, die uns als scheinbare Magie und Allheilslösungen verkauft werden. Unsere Verantwortung liegt jetzt darin, diese Magie des Marketings zu entzaubern und sowohl den Nutzen als auch die Limitationen von KIs und LLMs zu identifizieren, wobei wir uns daran erinnern können, dass hinter der Welt von LLMs kein Gott steht, sondern nichts.
