722 математические работы от ИИ: что проверить до того, как верить

OpenAI опубликовала 722 математические работы.

По заявлению компании, они закрывают 90 из 500 самых известных открытых задач.

Один из исследователей конкурирующей лаборатории назвал это самым значимым моментом в математике за последние сто с лишним лет.

Для руководителя, который покупает ИИ ради бизнес-результата, из этой новости следует другое: ценность модели задаёт скорость и надёжность проверки её ответа.

В типичной компании у ИИ-проекта нет формального верификатора.

Модель пишет код, описание товара, ответ клиенту, сводку по договору, а проверяет человека, и его время становится узким местом.

Если на проверку ответа уходит столько же времени, сколько ушло бы на самостоятельную работу, выигрыша нет.

Выигрыш измеряется метрикой TTU - time to use: за какое время инструмент выдаёт результат, пригодный к использованию.

Математики получили верификатор от самой науки.

Бизнесу его приходится строить: тесты для кода, схемы и правила для данных, сверку с первоисточником для текстов, ограничения на действия агента.

у RAG привязывает ответ модели к документам компании.

Ответ получает ссылку на фрагмент источника, и проверка сводится к сравнению двух текстов.

Обычно это заметно быстрее, чем перепроверка с нуля. ###

Проверка по правилам В каталогах товаров и в интеграциях верификатором служат схемы, таксономия и бизнес-правила.

Модель заполняет карточку, валидатор отклоняет значение вне допустимого справочника.

Человек разбирает только спорные случаи. ### Контроль доступа и действий

Когда агент обращается к внутренним системам через MCP, каждая операция проходит через шлюз: что можно читать, что писать, какие данные не должны покидать контур. В KT.Team эту роль выполняет LLM & Security Gateway.

Он логирует вызовы и фильтрует чувствительные данные, поэтому работу агента можно аудировать. ###

Разработка с тестами впереди В AI-native development модель генерирует код, а границу качества задают тесты и CI.

Чем плотнее покрытие, тем больше изменений доходит до продакшена без ручной перепроверки.

Простой интерфейс «попросил - получил» держится на тяжёлом слое проверок, и строить этот слой приходится инженерам.

Если часть работ подтвердится, это покажет: связка «генерация плюс автоматическая проверка»

справляется с задачами, которые люди десятилетиями не могли решить.

Если подтвердится малая доля, вывод останется тем же в более скромном масштабе: сгенерированный объём ничего не стоит, пока не измерен объём проверенного.

Для планирования бюджета полезны три вопроса к любому ИИ-проекту: -

Чем проверяется результат модели и сколько это стоит на единицу результата? -

Какая доля ответов проходит проверку без участия человека? -

Какая метрика бизнеса изменилась за квартал?

Проект без ответов на эти вопросы остаётся театром, а театр рано или поздно попадает под сокращение бюджета.