Pi 1.0 и Pi Durable: почему бюджет AI-агента уходит на обвязку

Типичный путь агентного проекта в компании такой.

На демо агенту дают три инструмента и короткую задачу, и пилот проходит успешно. В проде к агенту подключают 1С, PIM, CRM и складскую систему, и инструментов становится сорок. Сессии длятся час и дольше.

Агент отвечает медленнее, счёт за токены растёт кратно, а задача обрывается на середине, потому что у одного из API истёк таймаут.

Руководитель видит расходы, но не видит результата.

Через квартал проект закрывают, а AI записывают в «не взлетело». В таких историях модель обычно ни при чём.

Контекстное окно - рабочая память агента, и каждый токен в нём оплачивается при каждом вызове.

Описания сорока инструментов, промежуточные ответы API и история шагов занимают эту память ещё до того, как агент берётся за саму задачу.

### Codemode В классической схеме агент вызывает инструменты по одному, и каждый ответ целиком попадает в контекст. В режиме Codemode модель пишет короткий скрипт: скрипт вызывает нужные инструменты, фильтрует данные и возвращает модели только итог. Anthropic в публикации о выполнении кода с MCP приводила пример, где такой подход сократил расход с 150 000 до 2 000 токенов, то есть на 98,7%.

Экономия в конкретном проекте зависит от задачи, но порядок величины показателен. ### Отложенная загрузка инструментов

Агент держит в контексте короткий каталог инструментов и подгружает полное описание только того, который нужен на текущем шаге.

Сорок подключённых систем больше не занимают память на шагах, где они не участвуют. ### Прогрев кэша

Провайдеры кэшируют неизменную начальную часть запроса: системный промпт, инструкции, описания инструментов. У Anthropic чтение из кэша стоит около 10% базовой цены входных токенов.

При прогреве этот префикс отправляют заранее, поэтому первый же рабочий запрос пользователя попадает в кэш и ответ приходит быстрее. ###

Долговечное выполнение Durable execution - давно известный в интеграциях приём: после каждого шага состояние процесса сохраняется, и после сбоя процесс продолжает работу с последней точки.

Если у агента на тридцатом шаге упал внешний API, durable execution позволяет повторить один вызов.

Без него задачу придётся запускать заново и платить за токены второй раз.

Здесь описан принцип; как он реализован в Pi Durable, стоит проверять по документации проекта.

В те же дни Latent Space опубликовал интервью с Алексом Чжаном из MIT о рекурсивных языковых моделях (RLM).

Длинный контекст в этом подходе хранится как переменная в среде выполнения кода.

Модель пишет код, который просматривает этот контекст и режет его на части, и рекурсивно вызывает себя на фрагментах.

Это та же мысль, что в Codemode: модель управляет своей памятью через код и не загружает в неё лишнее. Latent Space ставит

Чжана в один ряд с прошлыми гостями подкаста. Шуньюй

Яо после выпуска 2024 года создал Operator в OpenAI и сейчас работает главным AI-учёным Tencent.

Джек Моррис, гость 2025 года, стал сооснователем Engram, и компанию оценили в $600 млн. OpenAI, Tencent и венчурные инвесторы платят за людей, которые умеют распоряжаться контекстом модели.