Eseguire agenti IA sul proprio hardware conviene dal punto di vista economico solo rispetto ai modelli frontier costosi, e solo oltre i 5 milioni di token al giorno circa. Rispetto alle API di modelli a pesi aperti, che si collocano tra 0,14 e 0,50 dollari per milione di token, il punto di pareggio si sposta a miliardi di token al mese e la maggior parte delle organizzazioni non lo raggiungerà mai. L’implicazione è semplice: se il costo è l’unica considerazione, la risposta di solito è no. Gli argomenti che reggono sono la sovranità dei dati, il blocco della versione e la latenza — e vanno valutati onestamente.
La domanda che quasi tutte le organizzazioni si pongono è quella sbagliata
La discussione si apre quasi sempre con quanto risparmieremo gestendolo internamente. È una domanda che si può calcolare, e questo la fa sembrare sicura — ma non è quasi mai la vera ragione per cui un’organizzazione esegue un modello in proprio.
Tre argomenti reggono, e nessuno di essi è il risparmio diretto. Il primo è la sovranità dei dati: quando le informazioni che entrano nel prompt non possono uscire dall’organizzazione, la questione economica è secondaria rispetto a quella delle autorizzazioni. Il secondo è il blocco della versione: un fornitore che aggiorna un modello cambia il comportamento di un agente calibrato sulla versione precedente, mentre un modello eseguito sul proprio hardware non cambia finché non lo decidete voi. Il terzo è la latenza stabile ad alto volume, in particolare per compiti di classificazione ed estrazione che girano centinaia di volte al minuto.
Se nessuno di questi tre casi vi riguarda, l’aritmetica che segue vi rimanderà quasi sempre all’API.
L’aritmetica, senza magia
A metà 2026, noleggiare una singola H100 costa da circa 2 dollari l’ora presso i provider GPU dedicati fino a circa 14 dollari l’ora presso gli hyperscaler, con un accesso on-demand che si aggira intorno ai 3 dollari l’ora. Acquistare una scheda costa dai 30.000 ai 40.000 dollari in su. Prendiamo un prezzo riservato di 2 dollari l’ora — circa 1.460 dollari al mese per una scheda in funzione continua.
| Con che cosa vi confrontate | Prezzo per milione di token | Volume mensile al pareggio | Equivalente giornaliero |
|---|---|---|---|
| Modello frontier costoso | 10 $ | ~146 milioni | ~5 milioni |
| Modello frontier più economico | 2,50 $ | ~584 milioni | ~19 milioni |
| API di modello a pesi aperti | 0,25 $ | ~5,8 miliardi | ~195 milioni |
La tabella è calcolata direttamente: 1.460 dollari al mese divisi per il prezzo per milione di token. La terza riga è quella che chiude la discussione nella maggior parte delle organizzazioni — 195 milioni di token al giorno sono il volume di un prodotto su larga scala, non di un agente interno.
Va notato che questo calcolo è generoso verso il lato hardware. Presuppone un prezzo riservato, una singola scheda e costo operativo pari a zero. Tutte e tre le ipotesi cadono in produzione.
L’utilizzo è tutta la storia
Un’API si paga a token. Una scheda si paga a ora, comprese le ore in cui nessuno le manda nulla. Questa differenza è la ragione per cui la maggior parte dei calcoli di ROI sul self-hosting è sbagliata.
Un modello quantizzato nella classe dei 70 miliardi di parametri, su una singola H100 con batching efficiente, raggiunge l’ordine dei 3.000 token al secondo. A 2 dollari l’ora, si traduce così.
| Utilizzo medio | Costo effettivo per milione di token | Rispetto a un’API a pesi aperti |
|---|---|---|
| 100% | ~0,19 $ | Competitivo |
| 50% | ~0,37 $ | Pari o più costoso |
| 25% | ~0,74 $ | Tre volte più costoso |
| 10% | ~1,85 $ | Sette volte più costoso |
L’utilizzo al 100% non esiste nel mondo reale. Il carico aziendale è ciclico — orari di lavoro, giorni feriali, fine mese — quindi un utilizzo medio del 50-60 percento è considerato ottimo per un carico interno. Al di sotto, il self-hosting perde sia contro le API a pesi aperti sia contro parte del frontier.
Da qui deriva una semplice regola pratica: se non riuscite a indicare un carico di lavoro continuo che riempia la scheda almeno per metà del tempo, state pagando per aria.
Che cosa il calcolo lascia fuori
Il prezzo della scheda è l’unica componente facile da quantificare, ed è per questo l’unica che viene quantificata. Il costo complessivo del self-hosting in produzione è tipicamente da tre a cinque volte superiore.
- Ridondanza. Una sola scheda è un singolo punto di guasto. Un agente che serve clienti ne richiede almeno due, oppure una via di ripiego verso un’API.
- Operations. Un server di inferenza, monitoraggio, gestione delle code, aggiornamenti dei driver e riquantizzazione a ogni aggiornamento del modello.
- Reperibilità. Qualcuno deve rispondere quando la GPU cade alle due di notte. Un’API ha uno SLA; la vostra scheda avete voi.
- Infrastruttura di test. Ogni cambio di modello o di quantizzazione richiede un’esecuzione completa del set di test, come illustrato nella guida alla valutazione degli agenti.
- Costo opportunità. Un modello che avete bloccato un anno fa resta dov’è mentre il frontier avanza.
L’architettura che funziona davvero: instradamento per compito
La scelta non è binaria. Un tipico agente aziendale svolge un insieme di compiti di natura molto diversa, e la logica economica cambia per ciascuno.
| Tipo di compito | Caratteristiche | Dove eseguirlo |
|---|---|---|
| Classificazione, tagging, estrazione di campi | Volume elevato, output breve, richiede coerenza | Modello piccolo sul proprio hardware |
| Sintesi e riscrittura | Volume medio, qualità media sufficiente | API di modello a pesi aperti |
| Pianificazione, ragionamento, decisioni | Volume basso, alta sensibilità alla qualità | Modello frontier via API |
| Dati sensibili che non possono uscire | Vincolo normativo | Il proprio hardware, indipendentemente dal volume |
Questo instradamento offre gran parte del risparmio senza gran parte del rischio: i compiti ad alto volume, che sono anche i più semplici, scendono su un modello locale economico, mentre le decisioni difficili restano al miglior modello disponibile. Ulteriori tecniche per ridurre il costo a livello di API sono trattate nella guida alla riduzione del costo di inferenza, e l’ultima riga della tabella va derivata dalla vostra classificazione dei dati aziendali.
Sei domande prima di comprare una scheda
- Qual è oggi il vostro volume giornaliero di token, misurato e non stimato, e qual è il suo tasso di crescita.
- Con quale prezzo alternativo vi state confrontando — frontier o pesi aperti. Le due risposte portano in direzioni opposte.
- Quale utilizzo prevedete nell’arco di una giornata e di una settimana, incluse le ore senza traffico.
- Chi nel team mantiene il server di inferenza, e che cosa succede quando è in ferie.
- Esiste una via di ripiego verso un’API quando l’hardware si guasta, e chi decide di attivarla.
- Esiste un argomento che non sia il costo. Se no, la decisione resta quasi sempre all’API.
Questa decisione sembra infrastruttura ma è architettura. Determina quali parti dell’agente possono cambiare e quali sono bloccate, quindi va presa rispetto alla mappa completa dei componenti descritta in Anatomia di un agente IA aziendale.
Domande frequenti
È più economico eseguire un modello IA sul nostro server?
Solo a condizioni specifiche. Rispetto a un modello frontier a circa 10 dollari per milione di token, il pareggio per una H100 riservata si colloca intorno ai 5 milioni di token al giorno. Rispetto a un’API di modello a pesi aperti a circa 0,25 dollari per milione, il pareggio salta a circa 195 milioni di token al giorno, un volume che la maggior parte delle organizzazioni non raggiunge mai.
Qual è il punto di pareggio tra self-hosting e API?
Deriva da una semplice divisione: il costo mensile dell’hardware diviso per il prezzo alternativo per milione di token. Una scheda che costa circa 1.460 dollari al mese contro un’API a 10 dollari per milione pareggia intorno ai 146 milioni di token al mese. Moltiplicate il risultato per tre-cinque per riflettere il costo operativo completo.
Perché l’utilizzo della GPU conta così tanto?
Perché un’API si paga a token mentre una scheda si paga a ora, comprese le ore di inattività. Il carico aziendale ciclico produce nel migliore dei casi un utilizzo medio del 50-60 percento, quindi il costo effettivo per milione di token è quasi sempre almeno il doppio del calcolo teorico.
Quali sono gli argomenti non economici a favore del self-hosting?
Tre principali: la sovranità dei dati quando le informazioni non possono uscire dall’organizzazione, il blocco della versione del modello affinché un agente calibrato non si sposti perché un fornitore ha rilasciato un aggiornamento, e la latenza stabile sui compiti ad alto volume. Quando uno di questi vale, la questione economica è secondaria.
Si possono combinare i due approcci?
Di solito è l’architettura giusta. Classificazione ed estrazione ad alto volume girano su un piccolo modello locale, la sintesi su un’API a pesi aperti, e decisioni e ragionamento su un modello frontier. Questo instradamento elimina gran parte del costo senza rinunciare alla qualità dove decide l’esito.