Analogia: pense num pianista que treinou lendo milhões de partituras. Ele não "decorou" as músicas, apenas aprendeu padrões. Se você começar uma melodia, ele adivinha a próxima nota que soa bem. O LLM faz o mesmo com palavras: dado um começo, ele prevê a continuação mais provável.
Explore cada etapa →
A ideia central: um LLM não "entende" texto como nós. Ele transforma palavras em números, multiplica esses números por bilhões de pesos aprendidos, e devolve a probabilidade de cada próxima palavra. Tudo o que ele faz é prever o próximo token, repetidamente.
A matemática, num só lugar
As 5 fórmulas que fazem tudo funcionar. Clique em qualquer uma para pular direto para a etapa que a explica.
Onde tudo começou: Alan Turing
1912 - 1954 · pai da computação e da IA
Em 1936, Turing descreveu a Máquina de Turing: a prova de que uma única máquina, seguindo regras simples sobre símbolos, pode calcular qualquer coisa computável. Todo LLM roda, no fundo, nessa mesma ideia. Em 1950 ele foi além e perguntou "máquinas podem pensar?", propondo o Teste de Turing, a semente da inteligência artificial moderna.
Máquina de Turing (1936)Teste de Turing (1950)Computação universal
O que é um prompt? É simplesmente todo o texto que você entrega ao modelo: uma pergunta, uma instrução, ou o começo de uma frase. É a única coisa que ele "vê". A resposta dele é sempre uma continuação desse texto.
O modelo lê da esquerda para a direita, uma palavra após a outra, montando o contexto até chegar no fim, onde ele vai continuar:
O mesmo modelo, vários usos
Muda só o prompt; a máquina é a mesma:
Pergunta: "Qual a capital do Brasil?"Ordem: "Resuma este texto."Início: "Era uma vez…"
Por que "prever a próxima palavra"?
Responder, resumir, traduzir ou escrever código: tudo vira o mesmo jogo, dado o texto até aqui, qual é a próxima palavra mais provável? Repita isso e nasce uma resposta inteira.
Mas o modelo não lê letras soltas nem a frase inteira de forma "mágica". Primeiro ele fatia o texto em pedaços padronizados chamados tokens. É o próximo passo. →
Como o computador transforma texto em tokens? Ele parte das letras e vai grudando os pares mais frequentes até formar pedaços úteis. Esse algoritmo se chama BPE (Byte-Pair Encoding). Veja acontecer:
Rodada 0 de 0
Fase 1 · caracteres
Resultado: sua frase tokenizada
Cada peça final vira um índice numa tabela de vocabulário (~50-100 mil entradas). Esse número é o que entra na rede.
Por que não uma letra por token?
Seria lento demais (textos ficariam enormes). E por que não uma palavra inteira? O vocabulário seria gigante e não caberia palavra nova. O BPE fica no meio-termo.
Palavra rara = subpalavras
"inteligência" pode virar:
inteligência
Um ID sozinho não carrega significado. Então cada token é trocado por um vetor: uma lista de números. O modelo desta etapa é um brinquedo treinado agora, no seu navegador, com 2 números por palavra para caber no plano. O Llama 3 8B usa 4.096 números, com as mesmas contas. Clique numa palavra da sua frase.
Como o vetor é escolhido
Na hora de responder, o modelo não escolhe nada. O ID do token é o número de uma linha numa tabela, a matriz de embeddings, e o vetor é essa linha copiada. Quem escolheu os números de cada linha foi o treino, antes. A linha acesa é a da palavra que você clicou.
Quem escolheu esses números: o treino, ao vivo
Os números começam sorteados. O texto de treino tem os pares abaixo, e a tarefa é a de um LLM: dada uma palavra, prever a companheira. Cada erro empurra um pouco os vetores na direção que teria acertado. Palavras com as mesmas companheiras recebem os mesmos empurrões e terminam apontando para o mesmo lado. Aperte ▶ ou arraste a época; clique num ponto para escolher a palavra.
E a tendência para uma característica? Ninguém mandou um eixo significar "animal". A direção dos animais aparece sozinha, porque gato, felino e cachorro recebem os mesmos empurrões. Num modelo grande acontece o mesmo com milhares de características ao mesmo tempo (animal, plural, cor, formalidade), cada uma uma direção feita de muitos eixos misturados. Pesquisadores acham essas direções depois, medindo, e não lendo um número do vetor. E o limite deste brinquedo: com só 2 números não há lugar para tudo, então rei fica mais perto de gato do que deveria. Com 4.096 eixos, cada grupo ganha direções próprias.
Fórmula · proximidade de significado
sim(a,b) = (a·b) / (‖a‖ ‖b‖)
Semelhança do cosseno. Compara a "direção" de dois vetores. a e b são os embeddings de dois tokens; o ponto · é o produto escalar e ‖ ‖ é o tamanho do vetor. Resultado perto de 1 = significados parecidos; perto de 0 = sem relação. É por isso que "gato" e "felino" ficam vizinhos no plano acima. A animação logo abaixo faz essa conta com os vetores do brinquedo.
A conta do cosseno, desenhada
Escolha dois vetores do brinquedo e aperte ▶. A conta acontece em três tempos: multiplica e soma (o produto escalar mede quanto um vetor "faz sombra" no outro), divide pelos tamanhos (os dois viram setas de tamanho 1) e sobra só o ângulo. Por isso o cosseno não liga para o tamanho do vetor, só para a direção.
O peso real da tabela
Llama 3 8B: a tabela
128.256 × 4.096 = 525 milhões de números
Na memória (bf16, 2 bytes)
1,05 GB, 6,5% do modelo; 8 KB por vetor
GPT-2 small, para comparar
50.257 × 768 = 38,6 milhões, 31% dos 124 milhões
Cada linha é um vetor de 4.096 números pequenos. Antes do treino eles são sorteados com desvio de 0,02 (o initializer_range do arquivo de configuração), exatamente como no brinquedo, só que em escala. O Llama 3 8B ainda tem uma segunda tabela do mesmo tamanho na saída, o lm_head, que transforma o vetor final em uma nota para cada token possível. No brinquedo, é essa tabela de saída que gera a coluna "o que ela espera ver junto". Um número sozinho não quer dizer nada: o sentido está na direção que os 4.096 formam juntos.
Por que vetor, e por que a proximidade importa
Um ID é só uma etiqueta: "gato" = 8.421 e "felino" = 31.007 não dizem nada um sobre o outro, e 8.421 fica "ao lado" de 8.422, que pode ser "geladeira". Com vetor, cada palavra vira um ponto num espaço, e a distância entre pontos passa a significar alguma coisa. Quem escolhe onde cada ponto fica é o treino: ele empurra para perto as palavras que aparecem nos mesmos contextos ("o ___ miou", "dei ração ao ___"). Daí a regra que sustenta tudo: perto = usado do mesmo jeito = sentido parecido.
1 · Generalizar
O que o modelo aprendeu sobre "gato" vale quase de graça para "felino": contas sobre vetores vizinhos dão resultados vizinhos. Ele acerta frases que nunca viu.
2 · Buscar por sentido
Achar "felino" quando você digitou "gato" é só procurar o vizinho mais próximo. É exatamente o que a busca semântica e o RAG fazem.
3 · Relacionar palavras
A atenção da próxima etapa decide quem olha para quem com um produto escalar: a mesma medida de alinhamento do cosseno. O modelo inteiro raciocina por direção e proximidade.
Quer ir fundo? Embeddings sustentam busca semântica e RAG, e têm uma página só para eles: cosseno passo a passo, aritmética de significado, corte de dimensões, vizinhos e o pipeline de RAG com código. Embeddings, na prática →
Os vetores passam por dezenas de camadas do Transformer. Em cada uma, o mecanismo de atenção deixa cada token "olhar" para os outros e decidir quais importam. Clique num token para ver no que ele presta atenção:
Quanto mais forte a atenção do token , mais destacado o token. Barras abaixo = peso de atenção.
Fórmula · self-attention
Atenção(Q,K,V) = softmax( QKᵀ / √dk ) V
Cada token gera três vetores: Q (query, "o que eu procuro"), K (key, "o que eu ofereço") e V (value, "a informação que carrego"). O produto Q·K mede o quanto um token combina com outro; dividir por √dk estabiliza os números; o softmax transforma isso nos pesos (as barras abaixo, que somam 100%); e por fim multiplica-se por V para misturar a informação dos tokens relevantes.
Muitas camadas
Cada camada refina o significado. O GPT-3 tem 96 camadas empilhadas.
É só matemática
Multiplicações de matrizes + funções simples. Bilhões delas por token.
Onde o Transformer entra: essas "camadas" são os blocos Transformer, empilhados. Cada bloco tem uma atenção (o que você viu acima, trazendo informação dos outros tokens) e um MLP (que processa o que chegou). Mais de 90% dos números aprendidos de um LLM moram nesses blocos. Eles substituíram, em 2017, as redes que liam uma palavra por vez e esqueciam o começo de textos longos. O porquê, com calma: O Transformer por dentro →
Na saída, o modelo produz uma probabilidade para cada token possível do vocabulário. Para o contexto O gato preto subiu no ___:
Fórmula · softmax com temperatura
P(i) = e^(zi / T) / Σj e^(zj / T)
A rede solta um número bruto (logit z) para cada token do vocabulário. O softmax transforma esses números em probabilidades que somam 100% (o Σj soma sobre todos os tokens). A temperatura T divide os logits antes: T baixo deixa o maior logit dominar (mais determinístico); T alto aproxima as probabilidades (mais aleatório). Ajuste o controle abaixo e veja as barras mudarem.
Temperatura: 0.70
equilibrado
Baixa: previsívelAlta: criativo/aleatório
A temperatura controla o quão "arriscada" é a escolha. Baixa = quase sempre o mais provável. Alta = achata a distribuição e dá chance aos menos prováveis. É por isso que a mesma pergunta pode gerar respostas diferentes.
O modelo gera um token de cada vez. Ele escolhe o próximo, adiciona ao texto, e roda tudo de novo: usando a própria saída como nova entrada. Isso se chama geração autoregressiva.
Fórmula · previsão do próximo token
P(xt | x1, …, xt-1)
Lê-se: "a probabilidade do próximo token xtdado (a barra |) todos os tokens anteriores x1…xt-1". A cada passo o modelo condiciona a escolha em tudo que já existe, inclusive nas palavras que ele mesmo acabou de gerar. Repetindo isso, a probabilidade da frase inteira é o produto de cada passo.
O gato preto subiu no
Repare: cada clique repete todo o processo (tokens → vetores → camadas → probabilidades → escolha). Um texto de 300 palavras = centenas dessas passagens.
O LLM não tem memória permanente da conversa. A cada token, ele relê tudo que cabe na janela de contexto: um limite fixo de tokens que fica todo carregado na RAM da GPU. O que sai da janela é esquecido.
Fluxo de tokens (os mais antigos saem pela esquerda):
O tamanho da janela muda tudo
Capacidade relativa (escala logarítmica):
Tokens
Equivale a
RAM p/ o contexto
Como o contexto ocupa a RAM (o "KV-cache")
Para não recalcular tudo, o modelo guarda na memória 2 vetores (uma chave e um valor) para cada token, em cada camada. Quanto mais tokens, mais blocos ocupados:
ocupado por tokens () livre na janela
Janela = RAM
O contexto inteiro precisa caber na memória da GPU ao mesmo tempo.
Custo cresce rápido
Dobrar a janela dobra a RAM do KV-cache e encarece cada resposta.
Estourou = esquece
Tokens antigos saem da janela e não influenciam mais.
Onde fica o "conhecimento"? Nos pesos (parâmetros): bilhões de números fixos, aprendidos durante o treino. Eles não guardam frases, mas sim padrões.
Escala
Modelos têm de bilhões a centenas de bilhões de parâmetros: dezenas de GB em disco.
Congelado ao usar
Depois do treino, os pesos não mudam. Conversar com o modelo não o "ensina".
Antes de responder qualquer coisa, o modelo passou por um treino. A ideia é simples de dizer e cara de fazer: mostrar um texto, esconder a próxima palavra, deixar o modelo chutar, medir o erro e ajustar os pesos, repetido trilhões de vezes.
O ciclo de aprendizado (repetido sem parar)
Passo 0 de 16
erro alto (chute)← o erro (loss) cai a cada passoerro baixo
Erro (loss)
Texto lido
tri tokens
Computação
GPU·dias
Custo
US$ mi
Por que precisa de TANTO dado?
Para aprender padrões raros (uma palavra incomum, um raciocínio específico) o modelo precisa vê-los muitas vezes. Isso só acontece se ele ler uma fatia enorme de texto:
Fórmula · lei de escala
erro ≈ (dados)−α
O erro cai à medida que você aumenta dados, tamanho do modelo e computação, mas cada vez menos. Para melhorar um pouco, é preciso multiplicar tudo. Daí os custos explodirem.
O que pesa na conta
milhares de GPUs rodando por semanas
contas de energia de uma cidade pequena
trilhões de tokens filtrados e limpos
dezenas a centenas de milhões de dólares
Juntando tudo, o caminho de uma pergunta até a resposta:
No fim: não há mágica nem consciência. Há texto virando números, números passando por uma rede gigante de pesos aprendidos, e uma escolha probabilística do próximo token, repetida até formar a resposta.