Come funziona un modello linguistico, senza matematica
Cosa succede tra la tua domanda e la risposta di un assistente IA, spiegato in modo semplice.
Assistenti come ChatGPT, Claude e Gemini si basano su modelli linguistici. Dietro la conversazione c'è un'idea semplice, ripetuta su scala enorme: prevedere quale pezzo di testo viene dopo.
Il testo diventa token
Il modello non legge lettere né parole intere. Spezza il testo in token, pezzi che possono essere una parola corta, una parte di parola o un segno di punteggiatura. Ogni token diventa una lista di numeri che il modello può elaborare.
Prevedere, parola per parola
Durante l'addestramento il modello vede un'enorme quantità di testo e regola miliardi di parametri per indovinare il token successivo. Quando risponde fa lo stesso: sceglie un token probabile, lo aggiunge alla risposta e ripete. Così nasce l'intera risposta, un pezzo alla volta.
Pre-addestramento
Il modello impara gli schemi della lingua prevedendo testo su larga scala.
Messa a punto
Esempi di conversazione gli insegnano il formato da assistente: seguire istruzioni e rispondere con chiarezza.
Valutazione umana
Delle persone confrontano le risposte e il modello viene regolato per preferire le più utili e sicure.
La finestra di contesto
Il modello vede solo ciò che sta nella finestra di contesto: la conversazione in corso, i file caricati e le istruzioni. Ciò che resta fuori, per il modello, in quel momento non esiste.
