Copilot научился кликать: когда computer use выгоднее API

1 октября GitHub открыл computer use в Copilot в режиме public preview.

Агент в Copilot CLI и в приложении Copilot для macOS и Windows сам работает с окнами десктопных программ.

Многие компании держат половину процессов в софте без API.

Теперь у них есть инструмент для автоматизации такого софта, и он уже стоит на машинах разработчиков.

Кликающий агент хорош как разведчик и как временный мост.

Постоянную нагрузку должен нести нормальный интерфейс: API, шина или MCP-сервер. Компания, которая перепутает эти роли, заплатит за автоматизацию больше, чем платила за ручной труд.

По описанию GitHub, Copilot читает доступное содержимое приложения и визуальный контекст экрана.

Он нажимает на элементы управления, вводит и правит текст, жмёт клавиши, прокручивает, перетаскивает и проводит сценарий через несколько программ подряд. В примере GitHub агент заполняет отчёт о расходах.

Целевые задачи GitHub называет прямо: legacy- и GUI-only-софт, у которого нет API, командной строки или MCP-интеграции.

Агенты этого класса обычно получают два источника данных. Первый - снимок экрана.

Второй - дерево доступности (accessibility tree): структура элементов интерфейса, которую операционная система отдаёт экранным дикторам для незрячих пользователей.

По этим данным модель выбирает следующее действие, выполняет его, получает новый снимок и повторяет цикл, пока задача не закрыта.

На каждый шаг сценария уходит отдельный вызов модели.

В проектах AI-native integration мы даём кликающему агенту три роли, и у каждой есть срок службы. Разведка.

Агент проходит реальный процесс в старой системе, и мы получаем записанный маршрут: какие экраны, какие поля, где срабатывает валидация, где сотрудники обычно ошибаются.

За десять лет эту документацию так и не написали, агент собирает её за день. Мост.

Пока инженеры строят интеграцию, агент ведёт процесс через интерфейс. Бизнес получает результат за дни.

Это и есть TTU, время до первой пользы. Замена.

Параллельно мы поднимаем устойчивый шов: HTTP-сервисы или OData в 1С, обмен через Datareon или Apache Kafka, а поверх них MCP-сервер.

После этого тот же агент вызывает инструмент `create_expense_report` одним запросом за доли секунды и получает предсказуемый результат.

Клики остаются для редких операций, где интеграция не окупится.

Трафик агента к моделям мы пропускаем через LLM & Security Gateway.

Шлюз маскирует персональные данные до отправки, пишет журнал действий и не пускает агента за пределы разрешённого списка систем.

Без такого контура служба безопасности компании, которая хранит персональные данные клиентов, вряд ли согласует computer use.

За три недели до computer use, 10 сентября, GitHub выпустил REST API для AI Scan в pull request.

Команды включают через него AI-проверку безопасности кода на уровне организации и репозитория, без ручной настройки каждого репозитория. В программе GitHub Universe 2026 заявлена тема о том, как убедиться, что код агента работает. GitHub строит рядом с агентами контур контроля.

Для computer use действует то же правило.

Отчёт агента о выполненной работе мы доказательством не считаем.

Результат сверяем по данным системы учёта: документ создан, сумма совпала, статус сменился.

Такую сверку пишут один раз через API, и дальше она проверяет каждый запуск.

Computer use снимает отговорку «у этой системы нет API, автоматизировать нельзя».

Первые процессы в legacy-софте компании закроют за дни.

Держать на кликах ежедневный поток операций я считаю ошибкой: это медленно, дорого и плохо проверяется.

Рабочая последовательность такая: агент кликает, чтобы разведать процесс и дать быстрый результат, а инженеры тем временем строят интеграцию, которая заберёт эту нагрузку насовсем.