Cómo funciona un modelo de lenguaje, sin matemáticas
Lo que pasa entre tu pregunta y la respuesta de un asistente de IA, explicado en lenguaje de andar por casa.
Asistentes como ChatGPT, Claude y Gemini se construyen sobre modelos de lenguaje. Detrás de la conversación hay una idea sencilla, repetida a una escala enorme: predecir qué trozo de texto viene a continuación.
El texto se convierte en tokens
El modelo no lee letras ni palabras enteras. Divide el texto en tokens, trozos que pueden ser una palabra corta, parte de una palabra o un signo de puntuación. Cada token se convierte en una lista de números que el modelo puede procesar.
Predecir, palabra por palabra
Durante el entrenamiento, el modelo ve una cantidad inmensa de texto y ajusta miles de millones de parámetros para acertar el siguiente token. Al responder, hace lo mismo: elige un token probable, lo añade a la respuesta y repite. Toda la respuesta se construye así, pieza a pieza.
Preentrenamiento
El modelo aprende patrones del lenguaje prediciendo texto a gran escala.
Ajuste fino
Ejemplos de conversación enseñan el formato de asistente: seguir instrucciones y responder con claridad.
Evaluación humana
Personas comparan respuestas, y el modelo se ajusta para preferir las más útiles y seguras.
La ventana de contexto
El modelo solo ve lo que cabe en la ventana de contexto: la conversación actual, los archivos enviados y las instrucciones. Lo que queda fuera no existe para él en ese momento.
