Empilhar três alavancas — o encaminhamento entre modelos, a cache e o processamento em lote — reduz uma fatura de inferência em 60 a 80 por cento sem alterar nada na experiência do utilizador. Só a cache de prompt tarifa os tokens repetidos a cerca de 10 por cento da tarifa de entrada de base, ou seja até 90 por cento de desconto na porção fixa, e melhora também o tempo até ao primeiro token em 13 a 31 por cento. O processamento em lote retira mais cerca de 50 por cento em tudo o que não exige resposta imediata. Empilhadas, estas alavancas deixam a fatura perto de um quarto do preço de tabela.
Onde o dinheiro arde de facto
Antes de otimizar é preciso saber o que é caro. Três factos estruturais explicam a maior parte da fatura, e aplicam-se a praticamente todos os fornecedores.
Os tokens de saída custam cinco a oito vezes o que custam os tokens de entrada. No GPT-5.2, por exemplo, a tarifa é de 1,75 dólares por milhão de tokens de entrada contra 14,00 dólares por milhão de tokens de saída. A consequência prática é que encurtar a resposta vale muito mais do que encurtar o prompt, e a maioria das equipas investe exatamente no contrário.
A diferença entre o modelo caro e o barato é de uma ordem de grandeza, não de uma percentagem. O escalão barato ronda os 0,10 dólares por milhão de tokens de entrada. Quando o modelo de topo custa quinze vezes mais, cada pedido enviado para lá sem necessidade é desperdício que não se recupera.
A porção fixa do prompt repete-se em cada pedido. Instruções de sistema, esquema, exemplos, regras de negócio — muitas vezes milhares de tokens enviados repetidamente a preço cheio de cada vez. É precisamente esta porção que a cache elimina quase por completo.
Meça antes de otimizar. Decomponha a fatura mensal por tipo de pedido e, para cada tipo, registe volume, média de tokens de entrada, média de tokens de saída, modelo utilizado e quantas chamadas consome uma tarefa. Na maioria das organizações dois tipos de pedido geram mais de 70 por cento da fatura, e todo o trabalho deve começar aí. A decomposição completa dos custos está em quanto custa mesmo uma funcionalidade de IA.
Seis alavancas, ordenadas por retorno sobre o esforço
| Alavanca | Poupança típica | Esforço | Risco de qualidade |
|---|---|---|---|
| Cache de prompt | 45 a 80 por cento na porção repetida | Baixo. Reordenar o prompt | Nenhum |
| Encaminhamento entre modelos | 40 a 85 por cento | Médio. Exige um classificador e um conjunto de avaliação | Médio sem medição |
| Processamento em lote | Cerca de 50 por cento no trabalho não urgente | Baixo a médio. Exige uma fila | Nenhum |
| Encurtamento da saída e esquema estruturado | 20 a 40 por cento | Baixo | Baixo |
| Cache semântica | Parte dos 47 por cento quando combinada com o encaminhamento | Médio. Exige embeddings e um limiar | Médio. Uma resposta desatualizada a uma situação nova |
| Destilação do modelo | Até cerca de 90 por cento na tarefa treinada | Alto. Exige dados e manutenção | Baixo na tarefa, alto fora dela |
Repare na coluna do esforço. As três primeiras linhas entregam a maior parte da poupança em semanas, não em trimestres. A destilação e a quantização são passos reais, mas pertencem a uma fase posterior, quando o volume os justifica.
Encaminhamento entre modelos: o movimento de maior retorno
A ideia de que cada pedido precisa do modelo mais forte é a suposição mais cara da arquitetura. Na prática, a maior parte do tráfego de qualquer produto é simples: classificação, extração de campos, reescrita, perguntas já respondidas mil vezes. Tudo isso corre perfeitamente no escalão barato.
O encaminhamento por complexidade retira 40 a 85 por cento da fatura e, combinado com uma cache semântica, foi medido em 47 por cento de redução de despesa mesmo em sistemas que já pareciam otimizados. A forma segura de o implementar tem três passos.
Primeiro, construa um conjunto de avaliação antes de mexer no encaminhamento. Cem a duzentos exemplos reais retirados do tráfego em produção, com uma resposta correta acordada. Sem isso não há como saber se o encaminhamento partiu alguma coisa, e ficará a sabê-lo pelos clientes.
Segundo, encaminhe apenas o trabalho fácil. Comece por uma categoria clara de pedidos simples, passe-a para o modelo barato e compare com o conjunto de avaliação. Se a diferença for negligenciável, avance para a categoria seguinte.
Terceiro, acrescente escalonamento automático. Quando o modelo barato devolve confiança baixa ou uma resposta que falha a validação do esquema, envie o pedido para o modelo forte. Mesmo com uma taxa de escalonamento de 15 por cento, a poupança nos restantes 85 por cento cobre-a com folga.
A cache: duas camadas completamente diferentes
A palavra cache designa aqui duas coisas que se confundem entre si e que resolvem problemas diferentes.
A cache de prompt é o mecanismo do fornecedor. Reconhece que o prefixo de um pedido coincide com um prefixo anterior e tarifa-o a cerca de 10 por cento da tarifa de entrada. A condição é que a porção fixa apareça no início do prompt e a variável no fim — a ordem inversa anula a cache por completo. É quase sempre a primeira melhoria a fazer, porque demora uma hora e melhora também o tempo até ao primeiro token em 13 a 31 por cento.
A cache semântica é o seu mecanismo. Uma nova pergunta é convertida em embedding, comparada com perguntas anteriores, e se a semelhança ultrapassar um limiar definido a resposta guardada é devolvida sem sequer chamar o modelo. É poderosa em produtos com perguntas repetidas, mas é também o único item desta lista que pode devolver uma resposta errada com total confiança.
Duas regras para a cache semântica. Primeiro, nunca coloque em cache o que depende do tempo, do preço, do stock ou das permissões do utilizador — são exatamente os casos em que uma resposta desatualizada causa dano. Segundo, defina um limiar de semelhança alto e uma validade curta, e meça com que frequência a cache devolveu uma resposta rejeitada pelo utilizador. Se essa taxa subir acima de uns poucos por cento, o limiar está demasiado permissivo.
Lote, encurtamento da saída e arquitetura
As três alavancas restantes são menos vistosas e por isso menos implementadas, ainda que a primeira seja o desconto mais fácil do setor.
Processamento em lote. Todos os grandes fornecedores oferecem cerca de 50 por cento de desconto em pedidos dispostos a esperar. Resumos noturnos, enriquecimento de registos, etiquetagem histórica, geração de descrições — nenhum destes precisa de resposta num segundo. O único obstáculo é que é preciso uma fila, e a maioria das equipas simplesmente nunca a construiu. São dias de trabalho que devolvem metade do custo de tudo o que por lá passar.
Encurtamento da saída. Como a saída custa cinco a oito vezes mais, limitar o comprimento da resposta é a alavanca mais direta disponível. Pedir a saída num esquema estruturado em vez de texto livre poupa entre 20 e 40 por cento e produz respostas mais fáceis de validar. Se o seu sistema gera longos raciocínios que ninguém lê, está a pagá-los a preço cheio.
Quantização e destilação, quando o volume as justifica. Correr um modelo em precisão INT8 ou INT4 corta cerca de 50 por cento do custo mantendo 95 a 99 por cento da exatidão. Destilar um modelo pequeno para uma tarefa específica chega a cerca de 90 por cento de poupança nessa tarefa. Ambas exigem infraestrutura e manutenção contínua, pelo que fazem sentido quando o volume é estável e grande — não antes. Este compromisso é o mesmo descrito em construir ou comprar capacidade de IA.
A ordem dos trabalhos, e o que não fazer
A ordem importa porque cada alavanca altera a base de referência da seguinte. Medir, depois as três fáceis, depois o resto.
| Passo | O que faz | Quando parar |
|---|---|---|
| 1. Medir | Decompor a fatura por tipo de pedido, modelo e volume | Quando souber quais são os dois tipos de pedido mais caros |
| 2. Cache de prompt | Reordenar: conteúdo fixo primeiro, conteúdo variável depois | Quando a taxa de acerto da cache estiver estável e reportada |
| 3. Esquema e comprimento da saída | Saída estruturada, teto de comprimento, nenhum raciocínio que ninguém consome | Quando a qualidade no conjunto de avaliação não se tiver mexido |
| 4. Lote | Passar tudo o que não é urgente para uma fila | Quando o que continua síncrono for realmente interativo |
| 5. Encaminhamento | Uma categoria de cada vez, com escalonamento automático | Quando os escalonamentos estabilizarem abaixo de 20 por cento |
| 6. Destilação ou quantização | Apenas para uma tarefa estável e de grande volume | Quando a poupança mensal exceder o custo de manutenção |
E três coisas a não fazer. Não troque qualidade por custo sem um conjunto de avaliação que mostre exatamente o que se degradou — uma poupança que gera mais um contacto de apoio é um prejuízo. Não otimize antes de ter volume, porque otimizar tráfego pequeno gasta tempo de engenharia caro para um retorno insignificante. E não esconda a poupança: se o custo por unidade de trabalho caiu 60 por cento, isso muda o seu preço e muda o ROI do piloto, e é normalmente o que transforma um piloto marginal num piloto justificado. A ligação entre estrutura de custo e preço foi tratada em como definir o preço de um produto assente num modelo.
Construir um modelo de custo e um plano de redução faz parte do trabalho de planeamento financeiro e de crescimento que fazemos com os clientes.
Perguntas frequentes
Quanto se pode reduzir o custo de inferência?
Empilhando encaminhamento entre modelos, cache e processamento em lote retiram-se 60 a 80 por cento da fatura sem degradar a experiência do utilizador. Só a cache de prompt tarifa os tokens repetidos a cerca de 10 por cento da tarifa de entrada, o lote acrescenta cerca de 50 por cento de desconto no trabalho não urgente, e o encaminhamento retira mais 40 a 85 por cento. Empilhadas, deixam a fatura perto de um quarto do preço de tabela.
Qual é o primeiro passo para reduzir o custo?
A medição, seguida da cache de prompt. Decomponha a fatura por tipo de pedido, modelo e volume — na maioria das organizações dois tipos de pedido produzem mais de 70 por cento do custo. Depois reordene o prompt para que a porção fixa venha primeiro e a variável por último. É uma hora de trabalho que rende 45 a 80 por cento na porção repetida, e melhora também o tempo até ao primeiro token em 13 a 31 por cento.
O encaminhamento entre modelos prejudica a qualidade?
Não, se construir um conjunto de avaliação antes de encaminhar. Prepare cem a duzentos exemplos reais com uma resposta correta acordada, encaminhe uma categoria de pedidos simples de cada vez e compare com o conjunto. Acrescente escalonamento automático para o modelo forte quando a confiança for baixa ou a resposta falhar a validação do esquema. Mesmo com uma taxa de escalonamento de 15 por cento, a poupança no resto cobre-a facilmente.
Quando compensa destilar um modelo dedicado?
Apenas quando a tarefa é estável, o volume é alto e a poupança mensal excede o custo de manutenção. A destilação chega a cerca de 90 por cento de poupança na tarefa treinada, e a quantização para INT8 ou INT4 corta cerca de 50 por cento mantendo 95 a 99 por cento da exatidão. Ambas exigem dados, infraestrutura e cuidado contínuo, pelo que são um passo tardio e não um primeiro passo.
Porque é que os tokens de saída pesam mais do que os de entrada?
Porque custam cinco a oito vezes mais. No GPT-5.2 a tarifa é de 1,75 dólares por milhão de tokens de entrada contra 14,00 dólares por milhão de tokens de saída. Limitar o comprimento das respostas e passar a uma saída em esquema estruturado poupa por isso 20 a 40 por cento do custo, e normalmente torna as respostas mais fáceis de validar. Se o sistema produz longos raciocínios que ninguém lê, está a pagá-los a preço cheio.
Continuar a ler
Agentes de IA autoalojados: quando a infraestrutura interna compensa — o prolongamento natural da redução do custo de inferência quando o volume se torna estável e grande.