Сложение трёх рычагов — маршрутизации между моделями, кеширования и пакетной обработки — снижает счёт за инференс на 60–80 процентов без каких-либо изменений в пользовательском опыте. Одно только кеширование промпта тарифицирует повторяющиеся токены примерно в 10 процентов базовой ставки входа, то есть до 90 процентов скидки на фиксированную часть, и вдобавок улучшает время до первого токена на 13–31 процент. Пакетная обработка снимает ещё около 50 процентов со всего, что не требует немедленного ответа. Вместе эти рычаги опускают счёт почти до четверти прайс-листа.
Где на самом деле сгорают деньги
Прежде чем оптимизировать, нужно понять, что именно дорого. Три структурных факта объясняют большую часть счёта, и они верны практически у любого поставщика.
Токены вывода стоят в пять–восемь раз больше токенов ввода. Например, у GPT-5.2 ставка составляет 1,75 доллара за миллион токенов ввода против 14,00 доллара за миллион токенов вывода. Практическое следствие: сократить ответ выгоднее, чем сократить промпт, а большинство команд вкладывается ровно в обратное.
Разрыв между дорогой и дешёвой моделью — это порядок величины, а не проценты. Дешёвый уровень стоит около 0,10 доллара за миллион токенов ввода. Когда флагман дороже в пятнадцать раз, каждый запрос, отправленный туда без надобности, — это потери, которые уже не вернуть.
Фиксированная часть промпта повторяется в каждом запросе. Системные инструкции, схема, примеры, бизнес-правила — часто тысячи токенов, отправляемых снова и снова по полной ставке. Именно эту часть кеш устраняет почти целиком.
Измерьте до того, как оптимизировать. Разложите месячный счёт по типам запросов и для каждого типа зафиксируйте объём, среднее число токенов ввода, среднее число токенов вывода, используемую модель и сколько вызовов расходует одна задача. В большинстве организаций два типа запросов дают более 70 процентов счёта, и вся работа должна начинаться там. Полная раскладка затрат — в материале о том, сколько на самом деле стоит ИИ-функция.
Шесть рычагов, упорядоченных по отдаче на усилие
| Рычаг | Типичная экономия | Усилие | Риск для качества |
|---|---|---|---|
| Кеширование промпта | 45–80 процентов на повторяющейся части | Низкое. Переставить блоки промпта | Нет |
| Маршрутизация между моделями | 40–85 процентов | Среднее. Нужен классификатор и набор для оценки | Средний без измерения |
| Пакетная обработка | Около 50 процентов на несрочной работе | От низкого до среднего. Нужна очередь | Нет |
| Сокращение вывода и структурированная схема | 20–40 процентов | Низкое | Низкий |
| Семантический кеш | Часть из 47 процентов в связке с маршрутизацией | Среднее. Нужны эмбеддинги и порог | Средний. Устаревший ответ на новую ситуацию |
| Дистилляция модели | До примерно 90 процентов на обученной задаче | Высокое. Нужны данные и сопровождение | Низкий на задаче, высокий за её пределами |
Обратите внимание на колонку усилий. Первые три строки дают большую часть экономии за недели, а не за кварталы. Дистилляция и квантизация — реальные шаги, но они относятся к более поздней стадии, когда объём их оправдывает.
Маршрутизация между моделями: ход с наибольшей отдачей
Допущение, что каждому запросу нужна самая сильная модель, — самое дорогое допущение в архитектуре. На практике основная часть трафика любого продукта проста: классификация, извлечение полей, переписывание, вопросы, на которые уже отвечали тысячу раз. Всё это прекрасно работает на дешёвом уровне.
Маршрутизация по сложности снимает 40–85 процентов счёта, а в связке с семантическим кешем измеренное сокращение расходов составило 47 процентов даже в системах, которые казались уже оптимизированными. Безопасный способ её внедрить состоит из трёх шагов.
Сначала соберите набор для оценки, прежде чем трогать маршрутизацию. Сто–двести реальных примеров из боевого трафика с согласованным правильным ответом. Без этого невозможно понять, сломала ли маршрутизация что-нибудь, и вы узнаете об этом от клиентов.
Затем маршрутизируйте только лёгкую работу. Начните с одной понятной категории простых запросов, переведите её на дешёвую модель и сравните с набором для оценки. Если разрыв незначителен, переходите к следующей категории.
И наконец добавьте автоматическую эскалацию. Когда дешёвая модель возвращает низкую уверенность или ответ, не прошедший проверку схемы, отправляйте запрос сильной модели. Даже при доле эскалаций в 15 процентов экономия на остальных 85 процентах с запасом это покрывает.
Кеш: два совершенно разных слоя
Словом «кеш» здесь называют две вещи, которые путают между собой, а решают они разные задачи.
Кеширование промпта — это механизм поставщика. Он распознаёт, что префикс запроса совпадает с предыдущим префиксом, и тарифицирует его примерно в 10 процентов ставки входа. Условие в том, чтобы фиксированная часть шла в начале промпта, а переменная — в конце: обратный порядок полностью обнуляет кеш. Это почти всегда первое улучшение, которое стоит сделать, потому что занимает час и вдобавок улучшает время до первого токена на 13–31 процент.
Семантический кеш — это ваш собственный механизм. Новый вопрос переводится в эмбеддинг, сравнивается с предыдущими вопросами, и если сходство превышает заданный порог, сохранённый ответ возвращается вообще без обращения к модели. Он силён в продуктах с повторяющимися вопросами, но это и единственный пункт списка, способный с полной уверенностью вернуть неверный ответ.
Два правила для семантического кеша. Первое: никогда не кешируйте то, что зависит от времени, цены, наличия или прав пользователя — именно в этих случаях устаревший ответ наносит ущерб. Второе: задайте высокий порог сходства и короткий срок жизни и измеряйте, как часто кеш возвращал ответ, отвергнутый пользователем. Если эта доля поднимается выше нескольких процентов, порог слишком мягкий.
Пакеты, сокращение вывода и архитектура
Три оставшихся рычага менее эффектны и потому реже внедряются, хотя первый из них — самая лёгкая скидка в отрасли.
Пакетная обработка. Все крупные поставщики дают около 50 процентов скидки на запросы, готовые подождать. Ночные сводки, обогащение записей, разметка исторических данных, генерация описаний — ничему из этого не нужен ответ за секунду. Единственное препятствие в том, что нужна очередь, а большинство команд её попросту никогда не строили. Это несколько дней работы, которые возвращают половину стоимости всего, что через неё проходит.
Сокращение вывода. Поскольку вывод стоит в пять–восемь раз дороже, ограничение длины ответа — самый прямой доступный рычаг. Запрос вывода в структурированной схеме вместо свободного текста экономит от 20 до 40 процентов и даёт ответы, которые проще проверять. Если ваша система порождает длинные рассуждения, которых никто не читает, вы платите за них по полной ставке.
Квантизация и дистилляция, когда объём их оправдывает. Запуск модели в точности INT8 или INT4 срезает около 50 процентов стоимости, сохраняя 95–99 процентов точности. Дистилляция небольшой модели под конкретную задачу доходит до примерно 90 процентов экономии на этой задаче. И то и другое требует инфраструктуры и постоянного сопровождения, поэтому уместно, когда объём стабилен и велик, — не раньше. Этот компромисс тот же, что описан в материале создавать или покупать ИИ-возможность.
Порядок работ и чего делать не надо
Порядок важен, потому что каждый рычаг меняет базу для следующего. Измерить, потом три лёгких, потом остальное.
| Шаг | Что вы делаете | Когда остановиться |
|---|---|---|
| 1. Измерение | Разложить счёт по типам запросов, моделям и объёму | Когда известны два самых дорогих типа запросов |
| 2. Кеширование промпта | Переставить: фиксированное содержимое в начало, переменное в конец | Когда доля попаданий в кеш стабильна и отслеживается |
| 3. Схема и длина вывода | Структурированный вывод, потолок длины, никаких рассуждений, которые никто не читает | Когда качество на наборе для оценки не сдвинулось |
| 4. Пакеты | Перевести всё несрочное в очередь | Когда оставшееся синхронным действительно интерактивно |
| 5. Маршрутизация | По одной категории за раз, с автоматической эскалацией | Когда эскалации закрепляются ниже 20 процентов |
| 6. Дистилляция или квантизация | Только для стабильной задачи с большим объёмом | Когда месячная экономия превышает стоимость сопровождения |
И три вещи, которых делать не надо. Не меняйте качество на стоимость без набора для оценки, показывающего, что именно просело: экономия, порождающая одно лишнее обращение в поддержку, — это убыток. Не оптимизируйте до того, как появился объём: оптимизация небольшого трафика тратит дорогое инженерное время ради ничтожной отдачи. И не прячьте экономию: если стоимость единицы работы упала на 60 процентов, это меняет ваше ценообразование и меняет ROI пилота, и обычно именно это превращает пограничный пилот в оправданный. Связь между структурой затрат и ценой мы разбирали в материале о ценообразовании продукта на основе модели.
Построение модели затрат и плана их снижения — часть работы по финансовому планированию и росту, которую мы ведём с клиентами.
Частые вопросы
Насколько можно снизить стоимость инференса?
Сложение маршрутизации между моделями, кеширования и пакетной обработки снимает 60–80 процентов счёта без ухудшения пользовательского опыта. Одно кеширование промпта тарифицирует повторяющиеся токены примерно в 10 процентов ставки входа, пакетная обработка добавляет около 50 процентов скидки на несрочную работу, а маршрутизация снимает ещё 40–85 процентов. Вместе они опускают счёт почти до четверти прайс-листа.
С чего начать снижение стоимости?
С измерения, а затем с кеширования промпта. Разложите счёт по типам запросов, моделям и объёму — в большинстве организаций два типа запросов дают более 70 процентов стоимости. Затем переставьте промпт так, чтобы фиксированная часть шла первой, а переменная последней. Это час работы, возвращающий 45–80 процентов на повторяющейся части, и вдобавок улучшающий время до первого токена на 13–31 процент.
Вредит ли маршрутизация между моделями качеству?
Нет, если собрать набор для оценки до начала маршрутизации. Подготовьте сто–двести реальных примеров с согласованным правильным ответом, маршрутизируйте по одной категории простых запросов за раз и сравнивайте с набором. Добавьте автоматическую эскалацию к сильной модели, когда уверенность низкая или ответ не проходит проверку схемы. Даже при доле эскалаций в 15 процентов экономия на остальном покрывает это легко.
Когда стоит дистиллировать отдельную модель?
Только когда задача стабильна, объём высок, а месячная экономия превышает стоимость сопровождения. Дистилляция доходит до примерно 90 процентов экономии на обученной задаче, а квантизация до INT8 или INT4 срезает около 50 процентов, сохраняя 95–99 процентов точности. И то и другое требует данных, инфраструктуры и постоянного ухода, поэтому это поздний шаг, а не первый.
Почему токены вывода важнее токенов ввода?
Потому что стоят в пять–восемь раз дороже. У GPT-5.2 ставка составляет 1,75 доллара за миллион токенов ввода против 14,00 доллара за миллион токенов вывода. Ограничение длины ответов и переход на вывод по структурированной схеме экономит поэтому 20–40 процентов стоимости и обычно делает ответы проще для проверки. Если система выдаёт длинные рассуждения, которых никто не читает, вы платите за них по полной ставке.
Продолжить чтение
ИИ-агенты на своём оборудовании: когда внутренняя инфраструктура окупается — естественное продолжение снижения стоимости инференса, когда объём становится стабильным и большим.