Wie KI-Modelle entstehen: Training, Daten und Rechenpower

Ein modernes KI-Modell fällt nicht vom Himmel. Hinter jeder scheinbar mühelosen Antwort von ChatGPT oder Gemini steht ein monatelanger, aufwendiger und teurer Entstehungsprozess. Er gleicht weniger dem Programmieren im klassischen Sinne und mehr dem Aufziehen und Ausbilden eines Systems, das aus Daten lernt. Wer verstehen will, warum diese Modelle so leistungsfähig, aber auch so ressourcenhungrig sind, sollte die drei Zutaten kennen, die alles zusammenhalten: Daten, Rechenpower und Verfahren. Diese drei Faktoren erklären nicht nur, wie KI entsteht, sondern auch, warum nur wenige Organisationen weltweit die größten Modelle selbst bauen können.

Die erste Zutat: Daten in gewaltigem Umfang

Am Anfang steht der Text. Große Sprachmodelle werden auf enormen Mengen an Texten trainiert – Bücher, Webseiten, wissenschaftliche Artikel, Foren, Programmcode. Die Größenordnung sprengt jede Alltagsvorstellung. Es geht um Billionen von Wörtern, um ein Vielfaches dessen, was ein Mensch in tausend Leben lesen könnte.

Doch Masse allein genügt nicht. Die Qualität der Daten entscheidet über die Qualität des Modells. Deshalb investieren die Entwickler erheblichen Aufwand in das sogenannte Kuratieren: das Filtern von Spam, das Entfernen von Duplikaten, das Aussortieren schädlicher oder rechtlich problematischer Inhalte. Eine treffende Analogie ist die Ernährung eines Kindes. Wer nur Junkfood bekommt, entwickelt sich anders als jemand mit ausgewogener Kost. Übernimmt ein Modell Verzerrungen aus seinen Trainingsdaten, etwa Vorurteile oder einseitige Weltbilder, dann spiegelt es diese später in seinen Antworten wider. Die Auswahl der Daten ist damit keine rein technische, sondern eine zutiefst verantwortungsvolle Aufgabe.

Die zweite Zutat: Rechenpower

Die zweite Zutat ist rohe Rechenleistung, und hier werden die Zahlen schwindelerregend. Der Rechenaufwand für das Training wird in FLOP gemessen, also in einzelnen Rechenoperationen mit Gleitkommazahlen. Führende Modelle benötigen heute in der Größenordnung von 10^25 solcher Operationen und mehr. Analysen der Forschungsorganisation Epoch AI zeigen, dass der Rechenaufwand für die größten Modelle über viele Jahre exponentiell gewachsen ist und sich in der Ära des Deep Learning etwa alle sechs Monate verdoppelt hat.

Diese Rechenarbeit leisten spezialisierte Chips, vor allem Grafikprozessoren, kurz GPUs. Für ein Spitzenmodell laufen Tausende dieser Chips wochen- oder monatelang parallel in großen Rechenzentren. Der Energiebedarf ist entsprechend hoch, und die Kosten ebenso: Für die größten Modelle liegen die reinen Trainingskosten laut dem Stanford AI Index inzwischen im zwei- bis dreistelligen Millionenbereich. Man kann sich das Training wie den Bau einer gewaltigen Brücke vorstellen. Die fertige Brücke lässt sich später mühelos überqueren, doch die Errichtung verschlang enorme Ressourcen und Zeit.

Die dritte Zutat: das eigentliche Training

Beim Training selbst geschieht im Kern etwas Einfaches, das nur oft genug wiederholt wird. Das Modell bekommt einen Textausschnitt und soll das nächste Wort vorhersagen. Zunächst rät es fast zufällig. Nach jeder Vorhersage vergleicht ein Verfahren namens „Backpropagation“ das Ergebnis mit dem tatsächlich richtigen Wort und justiert die Milliarden internen Stellschrauben, die Parameter, ein winziges Stück in die richtige Richtung.

Dieser Vorgang wiederholt sich unzählige Male. Man kann es sich wie einen Bildhauer vorstellen, der aus einem groben Block mit Millionen kleiner Schläge nach und nach eine Figur herausarbeitet. Kein einzelner Schlag ist entscheidend, doch in der Summe entsteht Präzision. Am Ende dieser ersten Phase, dem sogenannten Pretraining, steht ein Modell, das Sprache erstaunlich gut fortsetzen kann, aber noch roh und ungeschliffen ist.

Vom Rohmodell zum nützlichen Werkzeug

Das Rohmodell wäre als Assistent kaum brauchbar. Deshalb folgen zwei weitere Phasen. Beim Feintuning wird das Modell mit sorgfältig erstellten Beispielen nachgeschult, damit es Anweisungen folgt und in einem hilfreichen Stil antwortet. Danach kommt das „Reinforcement Learning from Human Feedback“, kurz RLHF. Hier bewerten menschliche Prüfer verschiedene Antworten, und das Modell lernt, welche Art von Antwort bevorzugt wird – hilfreich, ehrlich und unschädlich.

Diese späten Phasen sind vergleichsweise günstig, aber entscheidend für die Qualität. Sie sind der Grund, warum sich zwei Modelle mit ähnlicher Rohleistung im Alltag völlig unterschiedlich anfühlen können. Wieder passt das Bild der Ausbildung: Das Pretraining vermittelt das breite Wissen, das Feintuning und RLHF vermitteln gutes Benehmen und Urteilsvermögen.

Warum das für Unternehmen wichtig ist

Für die allermeisten Unternehmen ergibt es keinen Sinn, ein eigenes Grundlagenmodell zu trainieren – die Kosten und der Aufwand sind schlicht unverhältnismäßig. Der praktisch relevante Hebel liegt woanders: im Anpassen bestehender Modelle an die eigenen Anforderungen. Das reicht von geschickten Anweisungen über das Einbinden eigener Dokumente per „Retrieval Augmented Generation“ bis hin zu leichtgewichtigem Feintuning auf firmenspezifische Daten.

Das Verständnis der Entstehung hilft dabei, realistische Erwartungen zu setzen. Ein Modell weiß nur, was in seinen Trainingsdaten stand, und sein Wissen hat einen Stichtag. Aktuelle Firmendaten kennt es nicht von selbst. Wer diese Zusammenhänge versteht, trifft bessere Entscheidungen darüber, welches Modell zu welchem Zweck passt und wo eigene Daten sinnvoll ergänzt werden müssen.

Fazit

KI-Modelle entstehen aus dem Zusammenspiel von sorgfältig ausgewählten Daten, gewaltiger Rechenpower und einem geduldigen, iterativen Trainingsprozess. Aus einer einfachen Aufgabe – dem Vorhersagen des nächsten Wortes, millionenfach wiederholt – wächst ein System von erstaunlicher Vielseitigkeit. Wer diesen Weg kennt, versteht sowohl die Stärken als auch die natürlichen Grenzen der Technologie. Bei ULTRA Intelligence begleiten wir deutsche Unternehmen dabei, den richtigen Punkt für den eigenen Einsatz zu finden – nicht das teure Neubauen von Modellen, sondern das kluge Anpassen bewährter Systeme an konkrete Geschäftsziele.