Analogia: pense num pianista que treinou lendo milhões de partituras. Ele não "decorou" as músicas, apenas aprendeu padrões. Se você começar uma melodia, ele adivinha a próxima nota que soa bem. O LLM faz o mesmo com palavras: dado um começo, ele prevê a continuação mais provável.
Explore cada etapa →
A ideia central: um LLM não "entende" texto como nós. Ele transforma palavras em números, multiplica esses números por bilhões de pesos aprendidos, e devolve a probabilidade de cada próxima palavra. Tudo o que ele faz é prever o próximo token, repetidamente.
A matemática, num só lugar
As 5 fórmulas que fazem tudo funcionar. Clique em qualquer uma para pular direto para a etapa que a explica.
Onde tudo começou: Alan Turing
1912 – 1954 · pai da computação e da IA
Em 1936, Turing descreveu a Máquina de Turing: a prova de que uma única máquina, seguindo regras simples sobre símbolos, pode calcular qualquer coisa computável. Todo LLM roda, no fundo, nessa mesma ideia. Em 1950 ele foi além e perguntou "máquinas podem pensar?", propondo o Teste de Turing, a semente da inteligência artificial moderna.
Máquina de Turing (1936)Teste de Turing (1950)Computação universal
O que é um prompt? É simplesmente todo o texto que você entrega ao modelo: uma pergunta, uma instrução, ou o começo de uma frase. É a única coisa que ele "vê". A resposta dele é sempre uma continuação desse texto.
O modelo lê da esquerda para a direita, uma palavra após a outra, montando o contexto até chegar no fim, onde ele vai continuar:
O mesmo modelo, vários usos
Muda só o prompt; a máquina é a mesma:
Pergunta: "Qual a capital do Brasil?"Ordem: "Resuma este texto."Início: "Era uma vez…"
Por que "prever a próxima palavra"?
Responder, resumir, traduzir ou escrever código: tudo vira o mesmo jogo dado o texto até aqui, qual é a próxima palavra mais provável? Repita isso e nasce uma resposta inteira.
Mas o modelo não lê letras soltas nem a frase inteira de forma "mágica". Primeiro ele fatia o texto em pedaços padronizados chamados tokens. É o próximo passo. →
Como o computador transforma texto em tokens? Ele parte das letras e vai grudando os pares mais frequentes até formar pedaços úteis. Esse algoritmo se chama BPE (Byte-Pair Encoding). Veja acontecer:
Rodada 0 de 0
Fase 1 · caracteres
Resultado: sua frase tokenizada
Cada peça final vira um índice numa tabela de vocabulário (~50–100 mil entradas). Esse número é o que entra na rede.
Por que não uma letra por token?
Seria lento demais (textos ficariam enormes). E por que não uma palavra inteira? O vocabulário seria gigante e não caberia palavra nova. O BPE fica no meio-termo.
Palavra rara = subpalavras
"inteligência" pode virar:
inteligência
Um ID sozinho não carrega significado. Então cada token é convertido num vetor: uma lista de centenas de números (aqui mostramos 8) que capturam seu "significado". Palavras parecidas ganham vetores parecidos. Clique numa palavra para inspecionar o vetor dela.
Vetor de (8 dos ~centenas de números reais):
Semelhança do cosseno de com cada palavra:
Fórmula · proximidade de significado
sim(a,b) = (a·b) / (‖a‖ ‖b‖)
Semelhança do cosseno. Compara a "direção" de dois vetores. a e b são os embeddings de dois tokens; o ponto · é o produto escalar e ‖ ‖ é o tamanho do vetor. Resultado perto de 1 = significados parecidos; perto de 0 = sem relação. É por isso que "gato" e "felino" ficam vizinhos no mapa abaixo.
Significado vira geometria
Projetado em 2D: conceitos relacionados ficam próximos.
Quer ir fundo? Embeddings sustentam busca semântica e RAG, e têm uma página só para eles: cosseno passo a passo, aritmética de significado, corte de dimensões, vizinhos e o pipeline de RAG com código. Embeddings, na prática →
Os vetores passam por dezenas de camadas do Transformer. Em cada uma, o mecanismo de atenção deixa cada token "olhar" para os outros e decidir quais importam. Clique num token para ver no que ele presta atenção:
Quanto mais forte a atenção do token , mais destacado o token. Barras abaixo = peso de atenção.
Fórmula · self-attention
Atenção(Q,K,V) = softmax( QKᵀ / √dk ) V
Cada token gera três vetores: Q (query, "o que eu procuro"), K (key, "o que eu ofereço") e V (value, "a informação que carrego"). O produto Q·K mede o quanto um token combina com outro; dividir por √dk estabiliza os números; o softmax transforma isso nos pesos (as barras abaixo, que somam 100%); e por fim multiplica-se por V para misturar a informação dos tokens relevantes.
Muitas camadas
Cada camada refina o significado. O GPT-3 tem 96 camadas empilhadas.
É só matemática
Multiplicações de matrizes + funções simples. Bilhões delas por token.
Na saída, o modelo produz uma probabilidade para cada token possível do vocabulário. Para o contexto O gato preto subiu no ___:
Fórmula · softmax com temperatura
P(i) = e^(zi / T) / Σj e^(zj / T)
A rede solta um número bruto (logit z) para cada token do vocabulário. O softmax transforma esses números em probabilidades que somam 100% (o Σj soma sobre todos os tokens). A temperatura T divide os logits antes: T baixo deixa o maior logit dominar (mais determinístico); T alto aproxima as probabilidades (mais aleatório). Ajuste o controle abaixo e veja as barras mudarem.
Temperatura: 0.70
equilibrado
Baixa: previsívelAlta: criativo/aleatório
A temperatura controla o quão "arriscada" é a escolha. Baixa = quase sempre o mais provável. Alta = achata a distribuição e dá chance aos menos prováveis. É por isso que a mesma pergunta pode gerar respostas diferentes.
O modelo gera um token de cada vez. Ele escolhe o próximo, adiciona ao texto, e roda tudo de novo usando a própria saída como nova entrada. Isso se chama geração autoregressiva.
Fórmula · previsão do próximo token
P(xt | x1, …, xt-1)
Lê-se: "a probabilidade do próximo token xtdado (a barra |) todos os tokens anteriores x1…xt-1". A cada passo o modelo condiciona a escolha em tudo que já existe, inclusive nas palavras que ele mesmo acabou de gerar. Repetindo isso, a probabilidade da frase inteira é o produto de cada passo.
O gato preto subiu no
Repare: cada clique repete todo o processo (tokens → vetores → camadas → probabilidades → escolha). Um texto de 300 palavras = centenas dessas passagens.
O LLM não tem memória permanente da conversa. A cada token, ele relê tudo que cabe na janela de contexto: um limite fixo de tokens que fica todo carregado na RAM da GPU. O que sai da janela é esquecido.
Fluxo de tokens (os mais antigos saem pela esquerda):
O tamanho da janela muda tudo
Capacidade relativa (escala logarítmica):
Tokens
Equivale a
RAM p/ o contexto
Como o contexto ocupa a RAM (o "KV-cache")
Para não recalcular tudo, o modelo guarda na memória 2 vetores (uma chave e um valor) para cada token, em cada camada. Quanto mais tokens, mais blocos ocupados:
ocupado por tokens () livre na janela
Janela = RAM
O contexto inteiro precisa caber na memória da GPU ao mesmo tempo.
Custo cresce rápido
Dobrar a janela dobra a RAM do KV-cache e encarece cada resposta.
Estourou = esquece
Tokens antigos saem da janela e não influenciam mais.
Onde fica o "conhecimento"? Nos pesos (parâmetros): bilhões de números fixos, aprendidos durante o treino. Eles não guardam frases, mas sim padrões.
Escala
Modelos têm de bilhões a centenas de bilhões de parâmetros: dezenas de GB em disco.
Congelado ao usar
Depois do treino, os pesos não mudam. Conversar com o modelo não o "ensina".
Antes de responder qualquer coisa, o modelo passou por um treino. A ideia é simples de dizer e cara de fazer: mostrar um texto, esconder a próxima palavra, deixar o modelo chutar, medir o erro e ajustar os pesos repetido trilhões de vezes.
O ciclo de aprendizado (repetido sem parar)
Passo 0 de 16
erro alto (chute)← o erro (loss) cai a cada passoerro baixo
Erro (loss)
Texto lido
tri tokens
Computação
GPU·dias
Custo
US$ mi
Por que precisa de TANTO dado?
Para aprender padrões raros (uma palavra incomum, um raciocínio específico) o modelo precisa vê-los muitas vezes. Isso só acontece se ele ler uma fatia enorme de texto:
Fórmula · lei de escala
erro ≈ (dados)−α
O erro cai à medida que você aumenta dados, tamanho do modelo e computação mas cada vez menos. Para melhorar um pouco, é preciso multiplicar tudo. Daí os custos explodirem.
O que pesa na conta
milhares de GPUs rodando por semanas
contas de energia de uma cidade pequena
trilhões de tokens filtrados e limpos
dezenas a centenas de milhões de dólares
Juntando tudo, o caminho de uma pergunta até a resposta:
No fim: não há mágica nem consciência. Há texto virando números, números passando por uma rede gigante de pesos aprendidos, e uma escolha probabilística do próximo token, repetida até formar a resposta.