Como funciona um modelo de linguagem, sem matemática
O que acontece entre a sua pergunta e a resposta de um assistente de IA, explicado em linguagem de gente.
Assistentes como ChatGPT, Claude e Gemini são construídos sobre modelos de linguagem. Por trás da conversa existe uma ideia simples, repetida em escala enorme: prever qual pedaço de texto vem a seguir.
Texto vira tokens
O modelo não lê letras nem palavras inteiras. Ele quebra o texto em tokens, pedaços que podem ser uma palavra curta, parte de uma palavra ou um sinal de pontuação. Cada token vira uma lista de números que o modelo consegue processar.
Prever, uma palavra de cada vez
Durante o treinamento, o modelo vê uma quantidade imensa de texto e ajusta bilhões de parâmetros para acertar o próximo token. Ao responder, ele faz o mesmo: escolhe um token provável, acrescenta à resposta e repete. A resposta inteira é construída assim, peça por peça.
Pré-treinamento
O modelo aprende padrões da linguagem prevendo texto em grande volume.
Ajuste fino
Exemplos de conversa ensinam o formato de assistente: seguir instruções e responder com clareza.
Avaliação humana
Pessoas comparam respostas, e o modelo é ajustado para preferir as mais úteis e seguras.
Janela de contexto
O modelo só enxerga o que cabe na janela de contexto: a conversa atual, os arquivos enviados e as instruções. O que fica fora dela não existe para ele naquele momento.
