Wie ein Sprachmodell funktioniert, ganz ohne Mathe
Was zwischen deiner Frage und der Antwort eines KI-Assistenten passiert, verständlich erklärt.
Assistenten wie ChatGPT, Claude und Gemini basieren auf Sprachmodellen. Hinter dem Gespräch steckt eine einfache Idee, wiederholt in enormem Maßstab: vorhersagen, welches Textstück als Nächstes kommt.
Text wird zu Tokens
Das Modell liest weder Buchstaben noch ganze Wörter. Es zerlegt Text in Tokens, Stücke, die ein kurzes Wort, ein Wortteil oder ein Satzzeichen sein können. Jedes Token wird zu einer Zahlenliste, die das Modell verarbeiten kann.
Vorhersagen, Wort für Wort
Im Training sieht das Modell eine riesige Menge Text und passt Milliarden Parameter an, um das nächste Token zu treffen. Beim Antworten macht es dasselbe: Es wählt ein wahrscheinliches Token, hängt es an die Antwort an und wiederholt das. So entsteht die ganze Antwort, Stück für Stück.
Vortraining
Das Modell lernt Sprachmuster, indem es Text in großen Mengen vorhersagt.
Feinabstimmung
Gesprächsbeispiele bringen ihm das Assistentenformat bei: Anweisungen folgen und klar antworten.
Menschliche Bewertung
Menschen vergleichen Antworten, und das Modell wird so angepasst, dass es die hilfreichsten und sichersten bevorzugt.
Das Kontextfenster
Das Modell sieht nur, was ins Kontextfenster passt: das aktuelle Gespräch, hochgeladene Dateien und Anweisungen. Was außerhalb liegt, existiert für das Modell in diesem Moment nicht.
