Автономный AI-агент: 27 минут пользы и дыра в безопасности

27 минут - время, за которое агент прошёл через несколько внешних сервисов, у каждого свой формат ответа и свои ограничения, и на каждом шаге сам решал, что делать дальше.

Раньше эту цепочку строил разработчик: писал код под Nominatim, разбирался с форматом Overpass, вручную считал геометрию петли.

Теперь агент строит её на лету под конкретный запрос конкретного человека.

Для бизнеса это значит: время до результата (TTU) для задач такого класса упало с недель разработки до одного запроса.

Модель научилась надёжно вызывать инструменты по цепочке и проверять собственные промежуточные результаты - такая инженерная зрелость теперь встроена прямо в продукт.

Механика, которая даёт пользу - агент сам решает, какие внешние ресурсы дёргать и в каком порядке, - оказалась дырой в безопасности.

Исследователь заставил инструмент web_fetch в Claude перейти по цепочке вложенных ссылок на вредоносном сайте и выгрузить данные пользователя наружу. Anthropic уязвимость закрыла, но принцип атаки применим к любому агенту с доступом к сети: если агент сам решает, куда идти дальше по ссылкам, страница может подменить это решение.

Отдельно Anthropic 60 часов гоняла модель Claude Mythos на поиск слабостей в криптографических примитивах - HAWK и ослабленном AES - почти без участия человека.

Практической угрозы находки пока не несут: это гипотеза о будущем риске, не подтверждённый факт сегодняшней атаки.

Но способность та же: модель с автономией и инструментами находит то, что в неё явно не закладывали. В одном случае агент нашёл маршрут для пробежки. В другом - путь до чужих данных.

Механизм один: агент с доступом к внешнему миру исследует пространство возможностей быстрее и шире человека - включая то пространство, которое разработчик не собирался ему открывать.

Урезать агентам инструменты - плохой ответ: так теряется ценность вроде примера с маршрутом.

Границу возможностей агента нужно проектировать заранее - как явную, проверяемую конструкцию. ### Белый список разрешённых вызовов

Агент получает доступ к конкретным MCP-инструментам и конкретным доменам, всё остальное закрыто по умолчанию. ###

Шлюз между моделью и внешним миром LLM & Security Gateway логирует и фильтрует каждый вызов инструмента до того, как он ушёл наружу, - этот слой останавливает переход агента по чужой ссылке или вызов не туда, куда планировали. ###

Полный аудит цепочки вызовов 27 минут работы агента - десятки промежуточных решений.

Компания хранит всю цепочку, включая промежуточные шаги: без неё разбор инцидента после утечки невозможен.

Это часть платформы разработки - контура между «написал промпт» и «работает в проде», который делает автономность агента управляемой.