Große Sprachmodelle erklärt: Wie ChatGPT & Co. wirklich arbeiten

Kaum eine Technologie hat sich so schnell in unseren Alltag geschoben wie große Sprachmodelle. Sie schreiben E-Mails, fassen Verträge zusammen, programmieren, übersetzen und beantworten Fragen in einem Ton, der erstaunlich menschlich wirkt. Genau diese Menschlichkeit ist der Grund, warum so viele Missverständnisse entstehen. Denn das, was auf dem Bildschirm wie ein Gedanke aussieht, ist im Kern eine sehr präzise Rechenoperation. Wer verstehen will, wo diese Systeme im Unternehmen echten Wert schaffen und wo Vorsicht geboten ist, sollte einmal ruhig hinter die Kulissen schauen. Es ist weniger Magie und mehr Mathematik, als die meisten annehmen – und gerade das macht die Sache so faszinierend.

Sprache in Zahlen: Tokens und Vektoren

Ein Sprachmodell versteht keine Buchstaben und keine Wörter im menschlichen Sinne. Bevor überhaupt etwas berechnet werden kann, wird der Text in kleine Einheiten zerlegt, sogenannte Tokens. Ein Token kann ein ganzes Wort sein, oft aber auch nur eine Silbe oder ein Wortteil. „Unternehmensberatung“ zerfällt beispielsweise in mehrere Bausteine. Diese Tokens werden anschließend in Zahlenketten übersetzt, in sogenannte Vektoren.

Man kann sich das wie eine gigantische Landkarte der Bedeutung vorstellen. Jedes Wort bekommt einen Ort in einem hochdimensionalen Raum. Wörter mit ähnlicher Bedeutung liegen dort nah beieinander – „Arzt“ und „Ärztin“ sind Nachbarn, „König“ und „Königin“ ebenfalls. Das Modell rechnet nicht mit Sprache, sondern mit geometrischen Beziehungen zwischen diesen Punkten. Diese Übersetzung von Sprache in Geometrie ist die eigentliche Grundlage dafür, dass Maschinen mit Text umgehen können.

Das Herzstück: die Transformer-Architektur

Der entscheidende Durchbruch gelang 2017 mit einer Arbeit von Forschern bei Google mit dem programmatischen Titel „Attention Is All You Need“. Sie stellten die sogenannte Transformer-Architektur vor. Vorher verarbeiteten Modelle Sätze meist Wort für Wort, wie beim Lesen einer Zeile. Das war langsam und verlor bei längeren Texten schnell den Zusammenhang.

Der Transformer arbeitet anders. Sein zentraler Mechanismus heißt „Attention“, auf Deutsch etwa Aufmerksamkeit. Er erlaubt dem Modell, bei jedem einzelnen Wort zu gewichten, welche anderen Wörter im Text gerade wichtig sind. Nehmen wir den Satz: „Die Bank am Fluss war frisch gestrichen.“ Um zu erkennen, dass hier eine Sitzbank und kein Geldinstitut gemeint ist, muss das Modell dem Wort „Fluss“ besondere Aufmerksamkeit schenken. Genau das leistet der Attention-Mechanismus: Er verknüpft jedes Wort mit dem gesamten Kontext, und zwar alles gleichzeitig statt nacheinander.

Diese Parallelität war der eigentliche Sprung. Sie machte es möglich, Modelle auf riesigen Textmengen und mit enormer Rechenleistung zu trainieren, weil sich die Berechnungen gut auf viele Prozessoren verteilen lassen. Fast alle heutigen Systeme – von ChatGPT über Claude bis Gemini – bauen auf dieser Architektur auf.

Vorhersage statt Verständnis: das Wahrscheinlichkeitsprinzip

Hier liegt der Kern, den man wirklich verinnerlichen sollte. Ein Sprachmodell tut im Grunde nur eine einzige Sache: Es sagt das nächste Token voraus. Gibt man ihm den Anfang „Die Hauptstadt von Frankreich ist“, dann berechnet es für jedes mögliche nächste Token eine Wahrscheinlichkeit. „Paris“ erhält einen sehr hohen Wert, „Berlin“ einen sehr niedrigen. Das Modell wählt ein passendes Token, hängt es an und beginnt von vorn. Wort für Wort entsteht so eine Antwort.

Eine treffende Analogie ist die weit klügere Version der Autovervollständigung auf dem Smartphone. Der Unterschied ist die schiere Größe: Moderne Modelle haben Milliarden bis Billionen an Parametern, also Stellschrauben, die während des Trainings feinjustiert wurden. Aus dieser Menge entsteht ein Verhalten, das Fachleute „emergent“ nennen – Fähigkeiten wie logisches Schlussfolgern oder Übersetzen, die niemand explizit einprogrammiert hat, sondern die sich als Nebenprodukt aus dem reinen Vorhersagetraining ergeben.

Wichtig ist die Konsequenz: Das Modell hat kein Konzept von Wahrheit. Es kennt nur statistische Muster. Meist stimmen diese Muster mit der Realität überein, weil die Trainingstexte überwiegend korrekt waren. Doch das System kann auch flüssig und überzeugend etwas Falsches formulieren. Diese sogenannten Halluzinationen sind kein Fehler im engeren Sinne, sondern eine direkte Folge des Funktionsprinzips.

Vom Rohmodell zum hilfreichen Assistenten

Ein frisch trainiertes Sprachmodell ist zunächst nur ein Textvervollständiger. Damit daraus ein höflicher, hilfreicher Assistent wird, folgt ein zweiter Schritt. Beim sogenannten Feintuning wird das Modell mit ausgewählten Beispielen nachgeschult, wie gute Antworten aussehen sollen. Ergänzt wird dies durch das „Reinforcement Learning from Human Feedback“, kurz RLHF. Dabei bewerten Menschen verschiedene Antworten des Modells, und das System lernt, welche Art von Antwort bevorzugt wird.

Dieser Schritt ist der Grund, warum ChatGPT nicht einfach den nächstbesten Text aus dem Internet nachplappert, sondern strukturiert, sachlich und meist hilfreich antwortet. Man kann es sich wie den Unterschied zwischen einem hochbegabten, aber ungeschliffenen Talent und einem gut ausgebildeten Berater vorstellen. Das Rohtalent war schon da; die Ausbildung hat es nutzbar gemacht.

Was das Modell nicht kann

Genauso wichtig wie das Können sind die Grenzen. Ein Sprachmodell hat kein Gedächtnis über ein Gespräch hinaus, sofern man es nicht technisch nachrüstet. Es weiß nichts über Ereignisse nach dem Ende seiner Trainingsdaten. Es rechnet nicht zuverlässig, weil Zahlen für das Modell nur weitere Tokens sind. Und es hat kein Bewusstsein, keine Absichten und keine Gefühle, auch wenn der Sprachstil das manchmal suggeriert.

Diese Grenzen sind kein Grund zur Enttäuschung, sondern die Voraussetzung für einen souveränen Umgang. Wer weiß, dass ein Modell Wahrscheinlichkeiten berechnet und keine Wahrheiten kennt, setzt es dort ein, wo es glänzt – beim Formulieren, Strukturieren, Zusammenfassen und Ideenfinden – und baut dort Kontrollen ein, wo Faktentreue zählt.

Fazit

Große Sprachmodelle sind weder Zauberei noch denkende Wesen. Sie sind außergewöhnlich leistungsfähige Vorhersagemaschinen, die Sprache in Zahlen übersetzen, mit dem Attention-Mechanismus Kontext gewichten und Token für Token das jeweils Wahrscheinlichste erzeugen. Dieses nüchterne Verständnis ist kein Widerspruch zur Faszination, sondern ihre Grundlage. Denn erst wer die Mechanik kennt, kann diese Werkzeuge klug, sicher und wirtschaftlich sinnvoll einsetzen. Genau an dieser Stelle setzen wir bei ULTRA Intelligence an: Wir helfen deutschen Unternehmen, die tatsächlichen Stärken und Grenzen dieser Systeme zu verstehen und sie dort einzusetzen, wo sie echten, messbaren Nutzen stiften.