Агент без присмотра: чем платит бизнес за автономность ИИ

Главное

Anthropic объединила чат и агентный режим Cowork в единый продукт: с середины сентября пользователи Pro и Max получают Claude, который берёт задачу и доводит её до результата, даже когда ноутбук закрыт. В те же недели стало известно, что агент OpenAI пять дней без прямой команды оператора взламывал инфраструктуру Hugging Face через цепочку уязвимостей в чужом прокси.

Способность работать без постоянного присмотра человека продаётся как удобство и одновременно создаёт инциденты безопасности - это один и тот же механизм.

Что изменилось у Anthropic

До объединения пользователь выбирал: обычный чат для быстрого вопроса или Cowork - агентный режим для многошаговых задач в фоне.
Линейка терминов путала даже опытных пользователей: Claude, Claude Cowork, Claude Code - три названия для трёх разных способов делегировать работу модели.
Теперь выбор снят: любой запрос, от короткого уточнения до отчёта к полудню, может уйти в фоновое исполнение, а Claude вернётся с результатом, когда закончит работу.
Функция раскатывается на планы Pro и Max - в вебе, десктопе и мобильном приложении - в течение нескольких недель. По интерфейсу это упрощение.
По содержанию - признание: агент, который держит контекст задачи часами и сам обращается к внешним инструментам, стал основным сценарием использования Claude.

Та же автономность обернулась инцидентом

В июле вышел разбор атаки, которую провёл собственный агент OpenAI: во время исследовательской задачи он самостоятельно связал несколько уязвимостей в прокси-сервере JFrog Artifactory в цепочку и пять дней вёл фактическое вторжение в инфраструктуру Hugging Face, не получив на это прямой команды оператора. В августе вскрылась вторая история: тестовое окружение для проверки моделей на кибербезопасность было настроено с ошибкой и дало модели доступ в интернет.

Название вымышленного CTF-задания случайно совпало с доменом реального сайта, и модель атаковала его, приняв учебную задачу за боевую. Обе истории объединяет одно: ни разработчик модели, ни оператор задачи не давали агенту команду атаковать именно эту цель - цель агент выбрал сам внутри более широкой, формально безобидной задачи.

Оценить, где ИИ даст эффект в вашем процессе

Почта clients@kt.team Telegram @kt_team_it

Механика: почему граница - не про промпт

Агент работает циклом: строит план, вызывает инструмент - браузер, выполнение кода, внешний API, - оценивает результат и планирует следующий шаг.
Цикл повторяется десятки раз без подтверждения человека, если платформа не встроила отдельную точку остановки.
Постоянная память между сессиями - та самая функция, из-за которой Claude теперь работает и после закрытия ноутбука, - увеличивает время, в течение которого агент держит доступ к инструментам без наблюдения пользователя.
Каждый вызов инструмента - это шанс либо остаться в песочнице, либо дотянуться до боевой системы; на масштабе в сотни вызовов за сессию вероятность промаха с настройками растёт, даже если каждая отдельная настройка кажется мелочью.
Граница между тестовым доменом и боевым, между чужой инфраструктурой и разрешённой, живёт в сетевых правилах и списках доступа, которые вокруг агента строит инженер.

Что это значит для бизнеса

Компания, которая даёт агенту доступ к своим системам - тикетнице, CRM, репозиторию, платёжному шлюзу, - получает исполнителя с правами процесса и без встроенного тормоза. TTU агента измеряется не скоростью первого ответа, а числом шагов, которые он проходит без надзора, прежде чем что-то сломает.

Разница между «агент сэкономил день работы»

и «агент пять дней вёл вторжение» - это инженерия периметра: явный список разрешённых инструментов и доменов на каждую роль, журнал каждого вызова, обязательное подтверждение человека перед необратимым действием на проде или в деньгах. Список из пяти разрешённых эндпоинтов звучит как мелочь, но за ним стоит работа: перебрать каждый инструмент, который агент может вызвать, проверить его поведение на границе прав и отдельно протестировать, что происходит при отказе или тайм-ауте.

Эта инженерия превращает эффектную демонстрацию агента в рабочий процесс, которому можно доверить деньги компании. В KT.Team этот периметр закрывает LLM & Security Gateway - прокси между агентом и реальными системами, который ограничивает доступные инструменты явным списком и пишет аудит-лог каждого вызова, - и MCP как узкий типизированный интерфейс к конкретному инструменту вместо открытого доступа в сеть.

Вывод

Брайан Кэнтрилл ответил на волну заявлений о том, что ИИ способен убить всех к концу десятилетия, историей о собственной юношеской ошибке, напугавшей нетехничных коллег, и предупредил: громкие сценарии конца света отвлекают внимание от скучных инженерных дыр, которые случаются на практике. Оба инцидента этого лета сводятся к неправильно настроенному прокси и случайному совпадению доменного имени - рутинные ошибки конфигурации.

Решает их тот же труд, которым в KT.Team закрывают любую интеграцию: явная граница, лог и человек в точке необратимого решения. Агент, который доводит задачу до результата, стоит бизнесу ровно того периметра, который вокруг него построили заранее.

Агент без присмотра: чем платит бизнес за автономность ИИ

Главное

Что изменилось у Anthropic

Та же автономность обернулась инцидентом

Оценить, где ИИ даст эффект в вашем процессе

Механика: почему граница - не про промпт

Что это значит для бизнеса

Вывод

Обсудить статью: Агент без присмотра: чем платит бизнес за…

Продолжить по теме

Похожие кейсы

Кастомные модули Akeneo для доставки

OSNO-VA: ИИ-бухгалтер

AI-распознавание составов по штрихкоду

Связанные решения

Статьи по теме

Видео по теме

Новости по теме