1 / 10

Panorama

O que é um bloco Transformer

Antes de tudo: por que o Transformer existe, e onde ele fica no LLM

Onde ele fica. Um LLM é uma linha de montagem: o texto vira tokens, cada token vira um vetor (embedding), os vetores atravessam dezenas de blocos Transformer empilhados, e no fim uma última camada transforma o vetor final numa probabilidade para cada próximo token possível. O Transformer é o motor do meio, e é lá que estão mais de 90% dos números aprendidos de um modelo de 8B. "LLM" diz o que o modelo faz (um modelo de linguagem, grande); "Transformer" diz como ele é construído. GPT, Claude, Llama e Gemini são todos Transformers.

O problema que ele resolveu. Até 2017 o padrão para texto eram as redes recorrentes (RNN, LSTM), que liam uma palavra por vez carregando um único vetor de memória de passo em passo. Isso tinha dois defeitos sérios. Esquecimento: a informação da palavra 1 só chegava à palavra 200 depois de 200 transformações, desbotada como telefone sem fio. Lentidão: o passo 200 dependia do 199, então não dava para usar o paralelismo da GPU, e treinar com bilhões de palavras era inviável.

A ideia de 2017 (o artigo "Attention Is All You Need", do Google): jogar fora a leitura em sequência e deixar cada token olhar diretamente para todos os outros, em um passo só. Esse olhar é a atenção. A distância entre palavras deixou de importar, e o texto inteiro passou a ser processado de uma vez, em paralelo. Foi isso que destravou a escala: com treino paralelo dava para usar trilhões de tokens e centenas de bilhões de parâmetros. Sem o Transformer não haveria GPT-3, nem ChatGPT.

RNN / LSTM (antes)Transformer (2017 em diante)
Como lê o textouma palavra por veztudo de uma vez
Palavra 1 até a 500499 passos, sinal desbota1 passo, ligação direta
Paralelismo no treinoquase nenhumtotal
Custo com contexto ncresce com ncresce com n² (o preço da ligação direta)
Até onde escaloucentenas de milhões de parâmetroscentenas de bilhões, ou mais

Um bloco, por dentro

A tese desta página: um Transformer é uma pilha de blocos idênticos, e o que muda entre eles é apenas o que cada um aprendeu a escrever no residual stream. Não há hierarquia declarada, nem módulo de sintaxe, nem módulo de semântica: há a mesma operação repetida, e uma esteira que atravessa tudo carregando as anotações acumuladas.
tudo nesta página é recalculado a partir dela

Explore cada etapa →

A matemática, num só lugar

As 4 contas que sustentam um bloco. Clique em qualquer uma para pular direto para a etapa que a explica.

Onde esta página começa

a fronteira com "Dentro de um LLM"

A etapa 4 daquela página mostra que existe atenção, com uma demonstração aproximada e sem fórmula: é a porta de entrada, e continua sendo o lugar certo para começar. Esta página mostra como a atenção funciona, com a conta rodando de verdade. Se você chegou aqui sem passar por lá e algo soar denso demais, o caminho de volta é aquele link.

Honestidade, antes de começar: as contas desta página rodam de verdade, produto escalar, máscara, softmax, tudo calculado no seu navegador a partir da frase que você digitar. Mas os pesos são desenhados à mão, não extraídos de um modelo treinado. Escolhi quatro matrizes que produzem quatro comportamentos legíveis (vizinhança, token anterior, conteúdo, âncora) porque cabeças assim realmente aparecem em modelos reais e foram documentadas em trabalhos de interpretabilidade. Os padrões que você vai ver são plausíveis, não observados. Um modelo de verdade tem centenas de cabeças, a maioria sem interpretação simples nenhuma.