L’empilement de trois leviers — le routage entre modèles, la mise en cache et le traitement par lots — réduit une facture d’inférence de 60 à 80 pour cent sans rien changer à l’expérience utilisateur. Le cache de prompt à lui seul facture les tokens répétés à environ 10 pour cent du tarif d’entrée de base, soit jusqu’à 90 pour cent de remise sur la portion fixe, et il améliore aussi le temps jusqu’au premier token de 13 à 31 pour cent. Le traitement par lots retire encore environ 50 pour cent sur tout ce qui n’exige pas de réponse immédiate. Empilés, ces leviers ramènent la facture près du quart du tarif catalogue.
Où l’argent brûle réellement
Avant d’optimiser, il faut savoir ce qui coûte cher. Trois faits structurels expliquent l’essentiel de la facture, et ils valent chez pratiquement tous les fournisseurs.
Les tokens de sortie coûtent cinq à huit fois plus que les tokens d’entrée. Sur GPT-5.2, par exemple, le tarif est de 1,75 dollar par million de tokens d’entrée contre 14,00 dollars par million de tokens de sortie. Conséquence pratique : raccourcir la réponse vaut bien plus que raccourcir le prompt, et la plupart des équipes investissent exactement dans l’inverse.
L’écart entre le modèle cher et le modèle bon marché est d’un ordre de grandeur, pas d’un pourcentage. Le palier bon marché se situe autour de 0,10 dollar par million de tokens d’entrée. Quand le modèle phare coûte quinze fois plus, chaque requête qui lui est envoyée inutilement est un gaspillage irrécupérable.
La portion fixe du prompt se répète à chaque requête. Instructions système, schéma, exemples, règles métier — souvent des milliers de tokens envoyés encore et encore au tarif plein à chaque fois. C’est précisément cette portion que le cache élimine presque entièrement.
Mesurez avant d’optimiser. Décomposez la facture mensuelle par type de requête et, pour chaque type, notez le volume, la moyenne de tokens d’entrée, la moyenne de tokens de sortie, le modèle utilisé et le nombre d’appels que consomme une tâche. Dans la plupart des organisations, deux types de requêtes génèrent plus de 70 pour cent de la facture, et tout le travail doit commencer là. La décomposition complète des coûts se trouve dans ce que coûte vraiment une fonctionnalité IA.
Six leviers, classés par retour sur effort
| Levier | Économie typique | Effort | Risque qualité |
|---|---|---|---|
| Cache de prompt | 45 à 80 pour cent sur la portion répétée | Faible. Réordonner le prompt | Aucun |
| Routage entre modèles | 40 à 85 pour cent | Moyen. Nécessite un classifieur et un jeu d’évaluation | Moyen sans mesure |
| Traitement par lots | Environ 50 pour cent sur le travail non urgent | Faible à moyen. Nécessite une file d’attente | Aucun |
| Raccourcissement de la sortie et schéma structuré | 20 à 40 pour cent | Faible | Faible |
| Cache sémantique | Une part des 47 pour cent lorsqu’il est combiné au routage | Moyen. Nécessite des embeddings et un seuil | Moyen. Une réponse périmée à une situation nouvelle |
| Distillation de modèle | Jusqu’à environ 90 pour cent sur la tâche entraînée | Élevé. Nécessite des données et de la maintenance | Faible sur la tâche, élevé en dehors |
Regardez la colonne effort. Les trois premières lignes livrent l’essentiel de l’économie en semaines, pas en trimestres. La distillation et la quantification sont de vraies étapes, mais elles appartiennent à un stade ultérieur, une fois que le volume les justifie.
Le routage entre modèles : le geste au plus fort rendement
L’hypothèse selon laquelle chaque requête a besoin du modèle le plus puissant est l’hypothèse la plus coûteuse de l’architecture. En pratique, l’essentiel du trafic d’un produit est simple : classification, extraction de champs, reformulation, questions auxquelles on a déjà répondu mille fois. Tout cela tourne parfaitement sur le palier bon marché.
Le routage par complexité retire 40 à 85 pour cent de la facture, et combiné à un cache sémantique il a été mesuré à 47 pour cent de réduction de dépense même dans des systèmes qui semblaient déjà optimisés. La manière sûre de le mettre en place tient en trois étapes.
D’abord, construisez un jeu d’évaluation avant de toucher au routage. Cent à deux cents exemples réels issus du trafic en production, avec une réponse correcte convenue. Sans cela, impossible de savoir si le routage a cassé quelque chose, et vous l’apprendrez par les clients.
Ensuite, ne routez que le travail facile. Commencez par une catégorie claire de requêtes simples, basculez-la sur le modèle bon marché et comparez au jeu d’évaluation. Si l’écart est négligeable, passez à la catégorie suivante.
Enfin, ajoutez une escalade automatique. Quand le modèle bon marché renvoie une confiance faible ou une réponse qui échoue à la validation de schéma, envoyez la requête au modèle fort. Même avec un taux d’escalade de 15 pour cent, l’économie sur les 85 pour cent restants le couvre largement.
Le cache : deux couches entièrement différentes
Le mot cache désigne ici deux choses que l’on confond, et qui résolvent des problèmes différents.
Le cache de prompt est le mécanisme du fournisseur. Il reconnaît que le préfixe d’une requête correspond à un préfixe précédent et le facture à environ 10 pour cent du tarif d’entrée. La condition est que la portion fixe apparaisse au début du prompt et la portion variable à la fin — l’ordre inverse annule complètement le cache. C’est presque toujours la première amélioration à faire, parce qu’elle prend une heure et améliore aussi le temps jusqu’au premier token de 13 à 31 pour cent.
Le cache sémantique est votre mécanisme. Une nouvelle question est convertie en embedding, comparée aux questions précédentes, et si la similarité dépasse un seuil défini la réponse stockée est renvoyée sans appeler le modèle du tout. C’est puissant dans les produits à questions répétitives, mais c’est aussi le seul élément de cette liste qui peut renvoyer une mauvaise réponse avec une confiance totale.
Deux règles pour le cache sémantique. Premièrement, ne mettez jamais en cache ce qui dépend du temps, du prix, du stock ou des permissions de l’utilisateur — ce sont exactement les cas où une réponse périmée fait des dégâts. Deuxièmement, fixez un seuil de similarité élevé et une expiration courte, et mesurez la fréquence à laquelle le cache a renvoyé une réponse rejetée par l’utilisateur. Si ce taux dépasse quelques pour cent, le seuil est trop lâche.
Lots, raccourcissement de la sortie et architecture
Les trois leviers restants sont moins spectaculaires et donc moins mis en œuvre, alors même que le premier est la remise la plus facile du secteur.
Traitement par lots. Tous les grands fournisseurs offrent environ 50 pour cent de remise sur les requêtes qui acceptent d’attendre. Résumés nocturnes, enrichissement d’enregistrements, étiquetage historique, génération de descriptions — rien de tout cela n’exige une réponse en une seconde. Le seul obstacle est qu’il faut une file d’attente, et la plupart des équipes ne l’ont tout simplement jamais construite. C’est quelques jours de travail qui rapportent la moitié du coût de tout ce qui y passe.
Raccourcissement de la sortie. Parce que la sortie coûte cinq à huit fois plus, plafonner la longueur de la réponse est le levier le plus direct disponible. Demander une sortie dans un schéma structuré plutôt qu’en texte libre économise entre 20 et 40 pour cent et produit des réponses plus faciles à valider. Si votre système génère de longs raisonnements que personne ne lit, vous les payez au tarif plein.
Quantification et distillation, quand le volume les justifie. Faire tourner un modèle en précision INT8 ou INT4 retire environ 50 pour cent du coût tout en conservant 95 à 99 pour cent de la justesse. Distiller un petit modèle pour une tâche précise atteint jusqu’à environ 90 pour cent d’économie sur cette tâche. Les deux exigent de l’infrastructure et de la maintenance continue, donc ils ont leur place quand le volume est stable et important — pas avant. Cet arbitrage est le même que celui décrit dans construire ou acheter une capacité IA.
L’ordre des travaux, et ce qu’il ne faut pas faire
L’ordre compte parce que chaque levier modifie la base de référence du suivant. Mesurer, puis les trois faciles, puis le reste.
| Étape | Ce que vous faites | Quand s’arrêter |
|---|---|---|
| 1. Mesurer | Décomposer la facture par type de requête, modèle et volume | Quand vous connaissez les deux types de requêtes les plus coûteux |
| 2. Cache de prompt | Réordonner : contenu fixe d’abord, contenu variable ensuite | Quand le taux de succès du cache est stable et suivi |
| 3. Schéma et longueur de sortie | Sortie structurée, plafond de longueur, aucun raisonnement que personne ne consomme | Quand la qualité sur le jeu d’évaluation n’a pas bougé |
| 4. Lots | Basculer tout le non-urgent vers une file d’attente | Quand ce qui reste synchrone est réellement interactif |
| 5. Routage | Une catégorie à la fois, avec escalade automatique | Quand les escalades se stabilisent sous 20 pour cent |
| 6. Distillation ou quantification | Uniquement pour une tâche stable et à fort volume | Quand l’économie mensuelle dépasse le coût de maintenance |
Et trois choses à ne pas faire. N’échangez pas la qualité contre le coût sans un jeu d’évaluation montrant exactement ce qui s’est dégradé — une économie qui génère un contact support de plus est une perte. N’optimisez pas avant d’avoir du volume, car optimiser un petit trafic dépense du temps d’ingénierie coûteux pour un retour dérisoire. Et ne cachez pas l’économie : si le coût par unité de travail a baissé de 60 pour cent, cela change votre tarification et cela change le ROI du pilote, et c’est généralement ce qui transforme un pilote marginal en pilote justifié. Nous avons traité le lien entre structure de coût et prix dans la tarification d’un produit adossé à un modèle.
Construire un modèle de coût et un plan de réduction fait partie du travail de planification financière et de croissance que nous menons avec nos clients.
Questions fréquentes
De combien peut-on réduire le coût d’inférence ?
En empilant routage entre modèles, mise en cache et traitement par lots, on retire 60 à 80 pour cent de la facture sans dégrader l’expérience utilisateur. Le cache de prompt seul facture les tokens répétés à environ 10 pour cent du tarif d’entrée, le traitement par lots ajoute environ 50 pour cent de remise sur le travail non urgent, et le routage retire encore 40 à 85 pour cent. Empilés, ces leviers ramènent la facture près du quart du tarif catalogue.
Quelle est la première étape pour réduire le coût ?
La mesure, puis le cache de prompt. Décomposez la facture par type de requête, modèle et volume — dans la plupart des organisations, deux types de requêtes produisent plus de 70 pour cent du coût. Réordonnez ensuite le prompt pour que la portion fixe vienne en premier et la portion variable en dernier. C’est une heure de travail qui rapporte 45 à 80 pour cent sur la portion répétée, et cela améliore aussi le temps jusqu’au premier token de 13 à 31 pour cent.
Le routage entre modèles nuit-il à la qualité ?
Pas si vous construisez un jeu d’évaluation avant de router. Préparez cent à deux cents exemples réels avec une réponse correcte convenue, routez une catégorie de requêtes simples à la fois et comparez au jeu. Ajoutez une escalade automatique vers le modèle fort quand la confiance est faible ou que la réponse échoue à la validation de schéma. Même avec un taux d’escalade de 15 pour cent, l’économie sur le reste le couvre facilement.
Quand vaut-il la peine de distiller un modèle dédié ?
Uniquement quand la tâche est stable, le volume élevé, et que l’économie mensuelle dépasse le coût de maintenance. La distillation atteint jusqu’à environ 90 pour cent d’économie sur la tâche entraînée, et la quantification en INT8 ou INT4 retire environ 50 pour cent tout en conservant 95 à 99 pour cent de la justesse. Les deux exigent des données, de l’infrastructure et un entretien continu, ce qui en fait une étape tardive plutôt qu’une première étape.
Pourquoi les tokens de sortie comptent-ils plus que les tokens d’entrée ?
Parce qu’ils coûtent cinq à huit fois plus. Sur GPT-5.2, le tarif est de 1,75 dollar par million de tokens d’entrée contre 14,00 dollars par million de tokens de sortie. Plafonner la longueur des réponses et passer à une sortie en schéma structuré économise donc 20 à 40 pour cent du coût, et rend généralement les réponses plus faciles à valider. Si le système produit de longs raisonnements que personne ne lit, vous les payez au tarif plein.
Poursuivre la lecture
Agents IA auto-hébergés : quand l’infrastructure interne devient rentable — le prolongement naturel de la réduction du coût d’inférence quand le volume devient stable et important.