FRIDA Decisions: когда судье не нужна генерация

Сбер выложил в открытый доступ FRIDA Decisions.

Это русскоязычная модель, которая выбирает вариант из списка, ставит оценку по шкале, отвечает «да» или «нет» и ранжирует кандидатов за один проход энкодера.

Текст она не пишет, и на RTX 5060 Ti ей хватает десятков миллисекунд.

На бенчмарке razvilka она набирает 0,893.

Коммерческий API TypeSafe Jev получает 0,897, а LLM Qwen3.5-35B-A3B, которая в 40 раз больше, показывает сопоставимое качество.

Моя гипотеза: в корпоративных ИИ-сценариях заметную долю вызовов большой генеративной модели составляют задачи классификатора, и за них платят как за генерацию.

Во многих внедрениях LLM вызов выглядит одинаково: модель получает текст и список меток, возвращает метку.

Так устроены маршрутизация обращений в поддержку, модерация, разметка данных, проверка ответов другой модели (роль «судьи») и ранжирование фрагментов для RAG.

За такой вызов компания платит токенами генерации, ждёт сотни миллисекунд или секунды и получает ответ в непредсказуемом формате.

На потоке в десятки тысяч обращений в сутки это становится отдельной статьёй бюджета и очередью на шлюзе.

Если судья вызывается на каждый ответ ассистента, его задержка прибавляется к задержке всей цепочки.

Десятки миллисекунд на одной видеокарте потребительского класса меняют экономику такого решения.

Сравнение на razvilka даёт три точки: открытый энкодер FRIDA Decisions набирает 0,893, коммерческий API TypeSafe Jev 0,897, а Qwen3.5-35B-A3B (MoE-модель на 35 миллиардов параметров) выходит на сопоставимый уровень.

Между первым и вторым результатом четыре тысячных.

Для маршрутизации и модерации такую разницу перекрывает порог уверенности. У этого результата есть граница.

Бенчмарк измеряет конкретный набор задач, а ваши обращения, жаргон и сложные темы могут лежать вне его распределения.

Поэтому razvilka даёт основание протестировать модель на собственной разметке и не заменяет такой тест.

Мы бы начали с выборки в пару тысяч исторических решений, для которых правильный ответ уже известен.