Сколько на самом деле стоит ответ ИИ-модели

AWS считает три параметра: точность с первой попытки, число токенов на правильный ответ, число шагов в агентном сценарии. Формула реальной стоимости - это цена за токен, умноженная на объём токенов до результата и число итераций, с поправкой на долю ответов, которые вообще пришлось переделывать. Компания, которая меряет модели по первому параметру из трёх, регулярно выбирает не ту модель.

Есть и менее очевидная статья расходов - латентность и повторные вычисления. В типичном запросе к LLM есть фиксированная часть (инструкции, документы, история диалога) и переменная часть (реальный вопрос пользователя). У бота поддержки инструкция может занимать 3000 токенов, а вопрос клиента - 50. Без переиспользования кеша модель пересчитывает эти 3000 токенов на каждый запрос заново.

AWS показал, что prefix-aware маршрутизация в SageMaker Inference - направление запросов с одинаковым префиксом на одни и те же инстансы - снижает задержку и вычислительную нагрузку без изменения самой модели. Это тот же принцип, что лежит в основе кеширования промптов в LLM & Security Gateway: одна и та же системная инструкция не должна пересчитываться тысячу раз в день.

Руководитель, который боится потратить бюджет впустую, обычно сравнивает прайс-листы вендоров вместо того, чтобы посчитать стоимость решённой задачи на своих данных. Правильный тест - прогнать реальные кейсы компании через несколько моделей и посчитать цену результата: сколько стоило получить верный ответ с учётом переделок и лишних шагов. Цена одного запроса эту сумму не показывает.

Это ровно тот инженерный слой, который KT.Team строит для клиентов через LLM & Security Gateway: единая точка маршрутизации между OpenAI, Claude, GigaChat, YandexGPT и Qwen с кешированием промптов и метриками по решённым задачам. RAG сокращает число токенов и шагов: модель получает контекст из базы знаний вместо того, чтобы каждый раз выдумывать его заново. А оценка агентов на уровне бизнес-метрик, а не HTTP-статусов, ловит именно те 20% тихо неверных ответов, которые обычный мониторинг пропускает.

Простой на вид выбор модели - инженерная задача: считают цену результата с поправкой на точность, объём токенов и число шагов. Компании, которые продолжают сравнивать модели по прайс-листу, платят за иллюзию экономии - и получают счёт за неё в другом месяце, строкой про низкую точность и лишние доработки.