Impilare tre leve — il routing tra modelli, la cache e l’elaborazione in batch — riduce una bolletta di inferenza del 60-80 per cento senza cambiare nulla nell’esperienza utente. La cache dei prompt da sola tariffa i token ripetuti a circa il 10 per cento della tariffa di input di base, cioè fino al 90 per cento di sconto sulla porzione fissa, e migliora anche il tempo al primo token del 13-31 per cento. L’elaborazione in batch toglie un altro 50 per cento circa su tutto ciò che non richiede una risposta immediata. Impilate insieme, queste leve portano la bolletta vicino a un quarto del prezzo di listino.
Dove bruciano davvero i soldi
Prima di ottimizzare bisogna sapere che cosa costa. Tre fatti strutturali spiegano gran parte della bolletta, e valgono presso praticamente tutti i fornitori.
I token di output costano cinque-otto volte i token di input. Su GPT-5.2, per esempio, la tariffa è di 1,75 dollari per milione di token di input contro 14,00 dollari per milione di token di output. La conseguenza pratica è che accorciare la risposta vale molto più che accorciare il prompt, e la maggior parte dei team investe esattamente nel contrario.
Il divario fra il modello costoso e quello economico è di un ordine di grandezza, non di una percentuale. La fascia economica costa intorno a 0,10 dollari per milione di token di input. Quando il modello di punta costa quindici volte tanto, ogni richiesta inviata lì senza motivo è spreco che non si recupera.
La porzione fissa del prompt si ripete a ogni richiesta. Istruzioni di sistema, schema, esempi, regole di business — spesso migliaia di token inviati ancora e ancora a tariffa piena ogni volta. È proprio questa porzione che la cache elimina quasi del tutto.
Misurate prima di ottimizzare. Scomponete la bolletta mensile per tipo di richiesta e, per ogni tipo, annotate volume, media di token di input, media di token di output, modello in uso e quante chiamate consuma un singolo compito. Nella maggior parte delle organizzazioni due tipi di richiesta generano oltre il 70 per cento della bolletta, e tutto il lavoro deve partire da lì. La scomposizione completa dei costi si trova in quanto costa davvero una funzionalità IA.
Sei leve, ordinate per ritorno sullo sforzo
| Leva | Risparmio tipico | Sforzo | Rischio qualità |
|---|---|---|---|
| Cache dei prompt | 45-80 per cento sulla porzione ripetuta | Basso. Riordinare il prompt | Nessuno |
| Routing tra modelli | 40-85 per cento | Medio. Serve un classificatore e un set di valutazione | Medio senza misurazione |
| Elaborazione in batch | Circa 50 per cento sul lavoro non urgente | Da basso a medio. Serve una coda | Nessuno |
| Accorciamento dell’output e schema strutturato | 20-40 per cento | Basso | Basso |
| Cache semantica | Parte del 47 per cento quando è combinata con il routing | Medio. Servono embedding e una soglia | Medio. Una risposta obsoleta a una situazione nuova |
| Distillazione del modello | Fino a circa il 90 per cento sul compito addestrato | Alto. Servono dati e manutenzione | Basso sul compito, alto al di fuori |
Guardate la colonna dello sforzo. Le prime tre righe portano gran parte del risparmio in settimane, non in trimestri. Distillazione e quantizzazione sono passi reali, ma appartengono a una fase successiva, quando il volume li giustifica.
Routing tra modelli: la mossa con il ritorno più alto
L’assunto che ogni richiesta abbia bisogno del modello più forte è l’assunto più costoso dell’architettura. In pratica la maggior parte del traffico di un prodotto è semplice: classificazione, estrazione di campi, riscrittura, domande a cui si è già risposto mille volte. Tutto questo gira benissimo sulla fascia economica.
Il routing per complessità toglie il 40-85 per cento della bolletta e, combinato con una cache semantica, è stato misurato al 47 per cento di riduzione della spesa anche in sistemi che sembravano già ottimizzati. Il modo sicuro di implementarlo ha tre passi.
Primo, costruite un set di valutazione prima di toccare il routing. Cento-duecento esempi reali presi dal traffico in produzione, con una risposta corretta concordata. Senza, non c’è modo di sapere se il routing ha rotto qualcosa, e lo scoprirete dai clienti.
Secondo, instradate solo il lavoro facile. Iniziate da una categoria chiara di richieste semplici, spostatela sul modello economico e confrontate con il set di valutazione. Se lo scarto è trascurabile, passate alla categoria successiva.
Terzo, aggiungete l’escalation automatica. Quando il modello economico restituisce bassa confidenza o una risposta che non supera la validazione dello schema, mandate la richiesta al modello forte. Anche con un tasso di escalation del 15 per cento, il risparmio sull’altro 85 per cento lo copre ampiamente.
La cache: due livelli del tutto diversi
La parola cache indica qui due cose che vengono confuse fra loro e che risolvono problemi diversi.
La cache dei prompt è il meccanismo del fornitore. Riconosce che il prefisso di una richiesta coincide con un prefisso precedente e lo tariffa a circa il 10 per cento della tariffa di input. La condizione è che la porzione fissa stia all’inizio del prompt e quella variabile alla fine — l’ordine inverso annulla del tutto la cache. È quasi sempre il primo miglioramento da fare, perché richiede un’ora e migliora anche il tempo al primo token del 13-31 per cento.
La cache semantica è il vostro meccanismo. Una nuova domanda viene convertita in embedding, confrontata con le domande precedenti, e se la similarità supera una soglia definita la risposta salvata viene restituita senza chiamare affatto il modello. È potente nei prodotti con domande ripetute, ma è anche l’unica voce di questa lista che può restituire una risposta sbagliata con piena sicurezza.
Due regole per la cache semantica. Primo, non mettete mai in cache ciò che dipende dal tempo, dal prezzo, dalla disponibilità o dai permessi dell’utente — sono esattamente i casi in cui una risposta obsoleta fa danno. Secondo, fissate una soglia di similarità alta e una scadenza breve, e misurate quanto spesso la cache ha restituito una risposta rifiutata dall’utente. Se quel tasso sale sopra qualche punto percentuale, la soglia è troppo permissiva.
Batch, accorciamento dell’output e architettura
Le tre leve rimanenti sono meno appariscenti e quindi meno implementate, anche se la prima è lo sconto più facile del settore.
Elaborazione in batch. Tutti i fornitori principali offrono circa il 50 per cento di sconto sulle richieste disposte ad aspettare. Riepiloghi notturni, arricchimento di record, etichettatura storica, generazione di descrizioni — nessuna di queste ha bisogno di una risposta entro un secondo. L’unico ostacolo è che serve una coda, e la maggior parte dei team semplicemente non l’ha mai costruita. Sono giorni di lavoro che restituiscono metà del costo di tutto ciò che ci passa dentro.
Accorciamento dell’output. Poiché l’output costa cinque-otto volte di più, mettere un tetto alla lunghezza della risposta è la leva più diretta a disposizione. Chiedere l’output in uno schema strutturato invece che in testo libero fa risparmiare fra il 20 e il 40 per cento e produce risposte più facili da validare. Se il vostro sistema genera lunghi ragionamenti che nessuno legge, li state pagando a tariffa piena.
Quantizzazione e distillazione, quando il volume le giustifica. Far girare un modello a precisione INT8 o INT4 taglia circa il 50 per cento del costo mantenendo il 95-99 per cento dell’accuratezza. Distillare un modello piccolo per un compito specifico arriva fino a circa il 90 per cento di risparmio su quel compito. Entrambe richiedono infrastruttura e manutenzione continua, quindi hanno senso quando il volume è stabile e grande — non prima. Questo compromesso è lo stesso descritto in costruire o comprare capacità IA.
L’ordine dei lavori, e che cosa non fare
L’ordine conta perché ogni leva cambia la base di partenza della successiva. Misurare, poi le tre facili, poi il resto.
| Passo | Che cosa fate | Quando fermarsi |
|---|---|---|
| 1. Misurare | Scomporre la bolletta per tipo di richiesta, modello e volume | Quando conoscete i due tipi di richiesta più costosi |
| 2. Cache dei prompt | Riordinare: contenuto fisso prima, contenuto variabile dopo | Quando il tasso di hit della cache è stabile e monitorato |
| 3. Schema e lunghezza dell’output | Output strutturato, tetto di lunghezza, nessun ragionamento che nessuno consuma | Quando la qualità sul set di valutazione non si è mossa |
| 4. Batch | Spostare tutto il non urgente in una coda | Quando ciò che resta sincrono è davvero interattivo |
| 5. Routing | Una categoria alla volta, con escalation automatica | Quando le escalation si stabilizzano sotto il 20 per cento |
| 6. Distillazione o quantizzazione | Solo per un compito stabile e ad alto volume | Quando il risparmio mensile supera il costo di manutenzione |
E tre cose da non fare. Non scambiate qualità per costo senza un set di valutazione che mostri esattamente che cosa è peggiorato — un risparmio che genera un contatto di assistenza in più è una perdita. Non ottimizzate prima di avere volume, perché ottimizzare traffico piccolo consuma tempo di ingegneria costoso per un ritorno irrisorio. E non nascondete il risparmio: se il costo per unità di lavoro è sceso del 60 per cento, questo cambia il vostro prezzo e cambia il ROI del pilota, ed è di solito ciò che trasforma un pilota marginale in uno giustificato. Il legame fra struttura di costo e prezzo lo abbiamo trattato in come prezzare un prodotto basato su un modello.
Costruire un modello di costo e un piano di riduzione fa parte del lavoro di pianificazione finanziaria e di crescita che portiamo avanti con i clienti.
Domande frequenti
Di quanto si può ridurre il costo di inferenza?
Impilando routing tra modelli, cache ed elaborazione in batch si toglie il 60-80 per cento della bolletta senza degradare l’esperienza utente. La sola cache dei prompt tariffa i token ripetuti a circa il 10 per cento della tariffa di input, il batch aggiunge circa il 50 per cento di sconto sul lavoro non urgente, e il routing toglie un ulteriore 40-85 per cento. Impilate insieme, portano la bolletta vicino a un quarto del prezzo di listino.
Qual è il primo passo per ridurre il costo?
La misurazione, poi la cache dei prompt. Scomponete la bolletta per tipo di richiesta, modello e volume — nella maggior parte delle organizzazioni due tipi di richiesta producono oltre il 70 per cento del costo. Poi riordinate il prompt in modo che la porzione fissa venga prima e quella variabile per ultima. È un’ora di lavoro che rende il 45-80 per cento sulla porzione ripetuta, e migliora anche il tempo al primo token del 13-31 per cento.
Il routing tra modelli danneggia la qualità?
Non se costruite un set di valutazione prima di instradare. Preparate cento-duecento esempi reali con una risposta corretta concordata, instradate una categoria di richieste semplici alla volta e confrontate con il set. Aggiungete l’escalation automatica al modello forte quando la confidenza è bassa o la risposta non supera la validazione dello schema. Anche con un tasso di escalation del 15 per cento, il risparmio sul resto lo copre facilmente.
Quando vale la pena distillare un modello dedicato?
Solo quando il compito è stabile, il volume è alto e il risparmio mensile supera il costo di manutenzione. La distillazione arriva fino a circa il 90 per cento di risparmio sul compito addestrato, e la quantizzazione a INT8 o INT4 taglia circa il 50 per cento mantenendo il 95-99 per cento dell’accuratezza. Entrambe richiedono dati, infrastruttura e cura continua, quindi sono un passo tardivo e non uno iniziale.
Perché i token di output contano più di quelli di input?
Perché costano cinque-otto volte di più. Su GPT-5.2 la tariffa è di 1,75 dollari per milione di token di input contro 14,00 dollari per milione di token di output. Mettere un tetto alla lunghezza delle risposte e passare a un output in schema strutturato fa quindi risparmiare il 20-40 per cento del costo, e di solito rende le risposte anche più facili da validare. Se il sistema produce lunghi ragionamenti che nessuno legge, li state pagando a tariffa piena.
Continua a leggere
Agenti IA self-hosted: quando l’infrastruttura interna diventa conveniente — il prolungamento naturale della riduzione del costo di inferenza quando il volume diventa stabile e grande.