AI-ассистент на совещании правления: где он ломается и как это чинить

За одну неделю в блоге AWS о машинном обучении вышли пять технических разборов.

Четыре из них посвящены обвязке вокруг модели: восстановлению кластера после сбоя, пропускной способности сети, хранению данных в другом регионе и проверке ответов.

Для бизнеса полезнее всего кейс NarrateAI.

Это AI-ассистент, который отвечает руководителям на вопросы по данным прямо во время бизнес-ревью.

Его авторы пишут прямо: если неверная цифра на экране бьёт по чьей-то репутации, одной сильной модели мало. Отсюда правило для директора.

Бюджет AI-проекта делится между моделью и контуром проверки.

По нашему опыту, контур забирает большую часть денег и времени.

Авторы NarrateAI называют четыре сбоя, которые проявляются только в продакшене. Выдуманная метрика. Модель пишет «маржа выросла на 3 пункта»

, хотя в данных такой цифры нет. Фраза звучит правдоподобно, и на совещании её никто не перепроверяет.

Ошибку находят через месяц, когда цифра уже легла в решение о бюджете. Лимиты API (throttling).

Провайдер модели ограничивает число запросов в минуту.

Десять участников спрашивают одновременно, и ассистент замолкает в самый нужный момент. Задержка проверки.

Каждый слой контроля добавляет секунды.

На совещании пауза в ответе заметна всем, и ассистента перестают спрашивать. Оценочный язык. «Значительный рост», «слабый квартал».

Модель выносит оценку, которую у неё не просили, а отвечает за формулировку руководитель.

Мы строим такие системы из четырёх слоёв, по одному на каждый сбой. ### Цифры считает код

Модель переводит вопрос в запрос к хранилищу: SQL к витрине, вызов API 1С или ERP.

Считает система, модель только оформляет результат в текст.

Доступ к данным идёт через MCP - стандартный протокол, по которому модель вызывает инструменты с заранее заданными правами. ### Валидатор сверяет ответ с

ом Отдельный шаг извлекает числа из ответа и сравнивает их с результатом запроса.

При расхождении пользователь ответа не видит: система генерирует его заново или пишет «таких данных нет».

Проверка идёт параллельно с генерацией и почти не добавляет задержки. ### Шлюз держит нагрузку

Запросы к моделям проходят через LLM & Security Gateway.

Он ставит запросы в очередь, кэширует частые вопросы, переключается на резервную модель, когда основная упирается в лимит, и не выпускает наружу персональные и коммерческие данные. ###

Словарь запрещает оценки без порога

Слово «рост» допустимо только вместе с числом и периодом.

Оценочные прилагательные валидатор вырезает, если в справочнике нет порога, заданного бизнесом.

Средний российский бизнес не обучает MoE-модели на сотнях ускорителей.

Он подключает Qwen, GigaChat или YandexGPT по API либо разворачивает открытую модель на своём сервере.

Четыре сбоя из списка NarrateAI у него те же: модель выдумывает, провайдер ограничивает, проверка тормозит, формулировки плывут.

Главная метрика здесь - TTU, time to use: сколько времени проходит от запуска до первого решения, принятого с помощью инструмента.

Если руководитель не доверяет ассистенту, TTU бесконечен при любой модели.

Ответ в одну строку на экране выглядит просто.

За ним стоят запрос к данным, сверка, очередь и словарь, и эту инженерную работу кому-то придётся сделать.

Тот же принцип мы применяем в PIM-проектах: при генерации текстов карточек товаров, фасетов и таксономии.

Модель предлагает текст или категорию, правила сверяют атрибуты со справочником до публикации, и человек видит только то, что прошло проверку.