Четыре фронтир-лаборатории: преимущество теперь в слое вокруг модели

За одну неделю октября Google вывел Gemini

Мы так работаем на каталожных задачах: тексты карточек товаров, разметка таксономии, заполнение фасетов для фильтров.

Тестовый набор состоит из реальных SKU с выверенными атрибутами.

Новую модель мы прогоняем по этому набору и в тот же день видим, сколько полей она заполнила верно, где ошиблась и сколько стоит тысяча карточек.

Решение о переходе принимаем по этим цифрам.

Трёхступенчатые линейки у всех четырёх лабораторий подсказывают способ работы с ними: маршрутизацию запросов.

Классификацию входящих писем и извлечение реквизитов из документов ЭДО потянет младшая модель.

Флагман нужен для задач с рассуждением: сверить договор с регламентом, разобрать нестандартную претензию.

Маршрутизацию мы ставим в LLM & Security Gateway - единую точку входа между системами компании и моделями.

Шлюз выбирает модель под задачу, логирует запросы и маскирует персональные данные.

Провайдера в нём меняют правкой конфигурации, код при этом остаётся прежним.

За тем же шлюзом стоят GigaChat, YandexGPT и Qwen для данных, которые должны оставаться внутри контура.

Более сильная модель с надёжностью 99% на шаг даёт около 74%.

Если вынести детерминированные операции в обычные интеграции через MCP, Kafka или ESB и сократить цепочку до 10 шагов, даже старая модель с 98% на шаг даст около 82%.

Инженерная работа над процессом в этом расчёте даёт больше, чем апгрейд модели.

Короткая цепочка, контрольные точки и проверка человеком на рискованных шагах обеспечивают «простой» результат, за которым стоит сложная инженерия.

Соберите эталонный набор до выбора модели, и любой новый релиз вы проверите за день.

Подключайте модели через шлюз, чтобы не зависеть от одного провайдера.

Посчитайте шаги в каждом агентном сценарии и уберите из LLM операции, которые решает обычный код.

Успех проекта измеряйте по TTU (time to use): через сколько дней инструмент начал двигать метрику.

Число запущенных пилотов о результате ничего не говорит.