Pare de escolher modelo por benchmark

Todo mundo que começa a rotear IA cai na mesma tentação: abrir uma tabela, pegar o primeiro lugar do ranking, e chamar aquilo de decisão técnica. Parece objetivo. Parece defensável. E também costuma ser o jeito mais caro de resolver uma tarefa comum.

O problema é que benchmark mede uma média. A sua tarefa não é uma média. Ela tem arquivo ou não tem arquivo, precisa de ferramenta ou não precisa, roda uma vez por dia ou roda o dia inteiro, aceita latência ou precisa responder enquanto a pessoa ainda está olhando para a tela.

O que eu faço hoje é parar de perguntar "qual é o melhor modelo?" e perguntar "qual faixa de trabalho eu estou tentando executar?". Essa pergunta corta quase toda confusão.

A faixa de trabalho

Escrever e editar código num repositório grande fica numa faixa própria. Não basta devolver um texto bom. O modelo precisa aguentar contexto longo, entender vários arquivos e usar ferramentas para mudar o disco. Se ele não consegue escrever o arquivo, ele não está fazendo o trabalho; está descrevendo o trabalho.

Raciocínio difícil e arquitetura ficam em outra faixa. São poucas chamadas, com alto valor por decisão. Aqui o modelo caro pode se pagar, porque um erro muda a direção inteira do sistema. Não é lugar para economizar por chamada se a consequência for refazer a decisão.

Classificar, resumir e extrair são o oposto. Volume alto, tarefa estreita, resposta curta. O modelo barato ganha quando acerta com consistência suficiente, porque o custo real está na repetição.

Embedding também não pertence à conversa. Ele transforma texto em vetor. Se o conteúdo é em português, eu quero um modelo dedicado e bom em conteúdo multilíngue. Rerank vem depois: busca vetorial aproxima, o reordenador decide melhor o que realmente serve para a pergunta.

Visão é outra faixa ainda. Ler print, captura de tela ou documento escaneado não é o mesmo que conversar sobre um texto limpo. E atendimento, WhatsApp e secretária virtual também não pedem o modelo mais inteligente por padrão. Pedem latência previsível e custo por mensagem que sobreviva ao volume.

Arquivo ou texto

A distinção que organiza meu roteamento é mais simples: tarefa que escreve arquivo versus tarefa que devolve texto.

Quando a saída é texto, a faixa pode ser muito mais barata. Uma classificação, uma resposta curta, um resumo interno, uma extração controlada: tudo isso aceita degradação se o critério de aceite estiver claro. Se errar, você repete ou marca para revisão.

Quando a tarefa escreve arquivo, o jogo muda. Ela precisa de ferramenta, permissão, contexto do repositório e capacidade de confirmar o que mudou. Mandar esse trabalho para um modelo de texto puro não é uma opção mais lenta. É uma rota morta. Ele devolve algo plausível, talvez até em formato de diff, mas nada mudou no disco.

Essa diferença também explica por que assistente pessoal e marketing ou vendas não melhoram só trocando de modelo. O gargalo é contexto. Sem seus arquivos, suas decisões, seu tom e seu histórico, o melhor modelo do mundo devolve texto genérico. Ele pode escrever melhor, mas não sabe mais.

Como eu escolho

Eu separo primeiro pelo tipo de trabalho, não pelo ranking:

• agir em arquivos: modelo com ferramenta e contexto longo;
• decidir arquitetura: modelo forte, poucas chamadas;
• processar volume: modelo barato que passa no critério;
• buscar conhecimento: embedding e rerank antes do gerador;
• atender conversa repetitiva: latência e custo por mensagem.

Depois disso, benchmark vira dado secundário. Ele ajuda a comparar dentro da mesma faixa, mas não decide entre faixas diferentes. Um modelo excelente em raciocínio pode ser desperdício para etiquetar mensagens. Um modelo bom de chat pode ser inútil para editar um repositório.

O critério que dura é o encaixe entre capacidade e tarefa. A tabela muda. O preço muda. O nome do modelo muda. A pergunta continua: esta chamada consegue fazer exatamente o trabalho que estou pedindo, com o custo e a falha que eu aceito?

Onde isso quebra

Toda tabela de modelo é um retrato com data. Se você transformar esse retrato em regra fixa, o sistema envelhece em silêncio. O que dura é o critério, não a posição no ranking.

Também existe a falsa economia. O modelo mais barato que erra não custa só a chamada. Ele custa a rodada inteira de novo: nova tentativa, nova revisão, novo contexto, nova espera. Barato é medido no resultado, não na linha da fatura.