Экономика AI-интеграций: кэш, узкая модель, гибкий GPU

Amazon за последние недели выпустил три материала об одном и том же: как удешевить AI-систему инженерией вокруг модели.

Первый - конвейер автотегирования товарного каталога на SageMaker без ручной разметки тысяч SKU.

Второй - кэш промптов в Bedrock, который снижает счёт за входные токены до 90% при повторяющемся контексте.

Третий - списки предпочтительных GPU для тренировочных джобов SageMaker, чтобы job не стоял в очереди из-за одной занятой конфигурации.

Три разных инструмента закрывают одну задачу бизнеса: сократить TTU - время от запуска AI-функции до момента, когда она реально отдаёт результат.

Компания, которая запускает AI-проект, почти всегда фокусируется на выборе модели: GPT-5, Claude, Gemini, локальная Llama или Qwen.

Это решение задаёт архитектуру, но на итоговом счёте сказывается меньше, чем кажется.

Деньги уходят на повторяющиеся вызовы с одним и тем же контекстом, на простаивающие GPU-джобы и на универсальную модель, которую заставляют делать узкую механическую работу - например, расставлять теги по фиксированной таксономии каталога.

Именно на этих трёх точках AWS предлагает инженерные решения.

### Кэш вместо повторной прогонки контекста Bedrock prompt caching решает конкретную арифметику: контракт на 10 000 токенов, отправленный вместе с 50 вопросами пользователя без кэша, - это 500 000 токенов, оплаченных по полной ставке за контент, который модель уже видела. С кэшем система платит один раз за обработку контекста и многократно - за дешёвое чтение из кэша.

Для RAG-систем и AI-агентов с большим системным промптом (регламенты компании, схема каталога, правила бренда) счёт за токены падает уже на первом повторном запросе. ### Узкая модель под узкую задачу

Тегирование каталога - хороший пример: фронтир-модель с промпт-инжинирингом решает задачу дорого и нестабильно по формату вывода.

Когда таксономия стабильна и объём SKU исчисляется тысячами, выгоднее кастомизировать компактную модель под конкретную схему атрибутов: результат - предсказуемый JSON без разбора галлюцинаций фронтир-модели на каждом десятом товаре. ###

Гибкость по GPU вместо ожидания в очереди Instance preference lists в SageMaker AI позволяют job указать список подходящих GPU-конфигураций вместо одной жёстко заданной. В пиковый спрос система сама находит доступную мощность из списка вместо того, чтобы инженер вручную перебирал альтернативы или тренировочный процесс простаивал в очереди.

Экономится инженерное время - тот же принцип TTU, что и у кэша, только на этапе обучения модели.