Иллюзия паритета: открытые ИИ-модели против фронтира

Открытые китайские LLM отстают от фронтира на новых бенчмарках. В свете Kimi K3: где паритет бумажный, а где реальный - и как выбирать модель под задачу.

  • Бумажный паритет и реальный разрыв: чему учит DeepSeek V4 Pro
  • Прецедент: Kimi K2 и хайп «модель №1 теперь открытая»
  • 32 новых бенчмарка после релиза: ноль побед
  • DeepSeek V4 Pro против фронтира: три среза

Бумажный паритет и реальный разрыв: чему учит DeepSeek V4 Pro

Каждый релиз сильной открытой китайской модели идёт с заголовком «догнали фронтир», и в свете выхода Kimi K3 сюжет повторяется. Но независимый разбор внешнего автора показывает разрыв между паритетом на бумаге и надёжностью в реальной работе. На 32 бенчмарках, опубликованных уже после релиза, DeepSeek V4 Pro не выиграл ни одного сравнения у фронтир-моделей: медианный разрыв -14,8 пп, а на агентном кодинге в среднем -23 пп.

Для среднего и крупного бизнеса вывод не «китайские модели плохие»

, а инженерный: там, где ошибки в проде накапливаются, разрыв реальный, и выбирать модель нужно по данным и цене ошибки, а не по хайпу. Все числа ниже - из сбора внешнего автора, а не измерения KT.Team; мы разбираем его вывод и переводим в практику выбора модели.

Прецедент: Kimi K2 и хайп «модель №1 теперь открытая»

  1. Примерно за 3,5 месяца до DeepSeek V4 Pro вышла Kimi K2 Thinking - с тем же нарративом: сильнейшая модель теперь открытая и китайская.

  2. Через три месяца, по сбору того же автора, на 16 общих бенчмарках она проигрывала фронтиру (GPT-5 и Sonnet 4.5) на 13, и на семи из них - больше чем на 10 пп.

  3. Паттерн устойчивый: на релизных бенчмарках картинка похожа на паритет, а независимые бенчмарки, которые набегают следом, показывают систематическое среднее отставание.

  4. Один яркий график в анонсе - это не то же самое, что распределение результатов на десятках задач, собранных позже и не под модель.

32 новых бенчмарка после релиза: ноль побед

DeepSeek V4 Pro (Preview) вышел около 24 апреля

Чтобы исключить подгонку под известные тесты, внешний автор взял 32 бенчмарка, опубликованных уже после релиза, и сравнил модель с фронтиром того же момента - GPT-5.4, GPT-5.5, Opus 4.6 и Opus 4.7. Итог по всему сбору - ноль побед из

Медианный разрыв до фронтира -14,8 пп, средний -18,6 пп, а на агентных кодинг-бенчмарках (SWE-bench-подобные) разрыв максимален - в среднем -23 пп. Ниже - три среза сравнения из этого сбора; все числа в них авторские, KT.Team их не перепроверяла.

0 / 32побед у DeepSeek V4 Pro против всех фронтир-моделей на 32 новых бенчмарках (сбор внешнего автора)
−14,8 ппмедианный разрыв до фронтира; в среднем −18,6 пп
−23 ппсредний разрыв на агентном кодинге — SWE-bench-подобные бенчмарки

DeepSeek V4 Pro против фронтира: три среза

Срез сравненияБенчмарковПобедПораженийСредний разрыв, пп
vs все фронтир-модели (GPT-5.4/5.5, Opus 4.6/4.7)32032-18,6
vs Opus 4.61019-9,1
vs GPT-5.416313-6,9
Средний разрыв DeepSeek V4 Pro до фронтира по срезамГоризонтальные столбцы среднего разрыва в процентных пунктах: против всех фронтир-моделей минус 18,6; против Opus 4.6 минус 9,1; против GPT-5.4 минус 6,9. Длиннее столбец — сильнее отставание открытой модели. Данные по сбору внешнего автора.Средний разрыв до фронтира, ппдлиннее столбец — сильнее отставание открытой моделиvs все фронтир-модели−18,6vs Opus 4.6−9,1vs GPT-5.4−6,9
Средний разрыв DeepSeek V4 Pro до фронтир-моделей по трём срезам, в процентных пунктах. Чем длиннее столбец, тем сильнее отставание открытой модели. По сбору внешнего автора из 32 бенчмарков после релиза; это не измерения KT.Team.

Оценить, где ИИ даст эффект в вашем процессе

Честный нюанс: где паритет держится

Важно не превратить это в тезис «китайские модели - мусор».

Автор разбора прямо просит так его не читать, и он прав

Речь про систематическое среднее отставание, а не про каждую задачу. На ряде поддоменов паритет держится по-настоящему: фронтенд-вёрстка, three.js и 3D в вебе, веб-игры, вероятно - генерация презентаций и Excel-сценариев.

Там разрыв в среднем по бенчмаркам не переносится в заметную разницу на реальной задаче. Ключевая формула - «бумажный паритет → реальный разрыв»

: чем длиннее горизонт задачи и чем дороже ошибка, тем сильнее фронтир отрывается; чем короче и визуальнее задача, тем ближе открытая модель.

Паритет по доменам

Где паритет реально держится

  • Фронтенд-вёрстка и UI-компоненты.
  • three.js и 3D-графика в вебе.
  • Веб-игры и интерактивная графика.
  • Вероятно - генерация презентаций и Excel-сценариев.

Где систематически отстаёт

  • Агентный кодинг (SWE-bench-подобные) - в среднем -23 пп.
  • Длинные автономные задачи, где ошибки накапливаются.
  • Надёжность на проде - «бумажный» паритет туда не переносится.

Прогноз: повторит ли Kimi K3 паттерн

  1. В свете выхода Kimi K3 автор осторожно прогнозирует повтор паттерна против нового фронтира (GPT-5.6-Sol и Fable 5), но в мягкой форме - ориентировочно 8 побед, 5 ничьих и 17 поражений из

  2. То есть отставание сохранится в среднем, но станет меньше, и K3 вполне может закрепить отдельные домены, где открытые модели уже не отстают систематически.

  3. Это прогноз, а не факт, и относиться к нему стоит как к гипотезе.

  4. Но направление совпадает с двумя предыдущими итерациями (K2, DeepSeek V4 Pro), и для планирования это важнее точной цифры: релизный хайп про «топ-1» стоит проверять на независимых бенчмарках, вышедших позже, а не принимать по анонсу.

Как выбирать модель под задачу

Практический вывод для бизнеса - не «берите только фронтир» и не «берите открытое, оно догнало». Выбор модели - инженерное решение под конкретную задачу, и делается оно по двум осям: цена ошибки и горизонт задачи. Там, где ошибка накапливается и стоит дорого, работает фронтир; там, где задача короткая, визуальная и дешёвая по цене ошибки, выигрывают открытые и дешёвые модели.

Это ровно та логика, которую мы разбираем в материале про выбор LLM под процесс и бюджет и в разборе Claude в среднем и крупном бизнесе: не гнаться за строкой в рейтинге, а считать, где корректность окупает более дорогую модель.

Три яруса выбора модели

Фронтир - где ошибка дорого стоит

Агенты, которые трогают прод; 152-ФЗ-контуры; длинные задачи, где ошибки накапливаются; финальный синтез. Здесь разрыв реальный - берём Opus, GPT или Gemini.

Открытые модели - на подходящих доменах

Фронтенд, 3D-web, вспомогательный код, черновики. Там паритет держится, а цена ошибки низка - открытая модель экономит без потери качества.

Дешёвые слои - на объёме

Ingest, суммаризация, классификация, черновые ответы. Дёшево на DeepSeek или Flash-моделях, с проверкой детерминированным гейтом или фронтир-моделью на выходе.

Как это устроено у нас

  1. Мы не выбираем модель по хайпу и живём в этой логике сами.

  2. Наш клиентский консьерж пишет черновики ответов на DeepSeek - V4 Flash на короткие подтверждения, V4 Pro на коммерческие, технические и длинные диалоги.

  3. Но отправку разрешает детерминированный policy-движок, а квалификацию лида делает отдельный классификатор: дешёвая модель работает на объёме, а за корректность отвечает предсказуемый контур, а не сама модель.

  4. Наша контент-машина устроена наоборот там, где ошибка бьёт по репутации: финальный синтез статьи в бренд-голосе идёт на Claude, а дешёвые сбор и нормализация сигналов - на моделях попроще. И наш публичный AI-калькулятор прямо предлагает клиентам гибридный контур «Frontier + DeepSeek»: около 60% простых задач уходят на DeepSeek, сложные остаются на фронтире.

  5. Тот же инженерный фундамент - в нашем сервисе AI-native разработки.

  6. Сам этот сайт правит AI-агент поверх репозитория; как устроен такой контур, мы разбираем в материалах про AI-SDLC на готовом стеке и уровни разработчика и ПМа.

AI под задачу

Подберём стек моделей под ваши процессы

Разберём ваши процессы, посчитаем цену ошибки на каждом и соберём стек моделей: фронтир там, где корректность критична, открытые и дешёвые - там, где это выгодно без потери качества.

Обсудить внедрение ИИ под задачу

Источники

Дата проверки источников: 19.07.2026.

Анализ и все числовые сравнения - внешнего автора, а не измерения KT.Team. Эта статья - наш комментарий к его разбору. Оригинальный разбор «the illusion of parity»

и сбор из 32 бенчмарков, вышедших после релиза DeepSeek V4 Pro (нулевой счёт побед, медиана -14,8 пп, средний разрыв -18,6 пп, прецедент Kimi K2 Thinking и прогноз по Kimi K3): ikot.blog/the-illusion-of-parity Детальный аудит DeepSeek V4 Pro с посрезовыми сравнениями (vs Opus 4.6, vs GPT-5.4, победы на TERMS-Bench / Long-Horizon Terminal-Bench / MLS-Bench, провал на DeepSWE): deepseek-v4-pro-audit.seeyouall.chatgpt.site Все бенчмарк-цифры

в статье приведены по этому сбору автора; KT.Team их не перепроверяла и не измеряла самостоятельно.

Обсудить статью: Иллюзия паритета: открытые ИИ-модели…

Отправить через: