OpenRouter и мультимодельность: чем опасен один провайдер LLM

В подкасте Latent Space сооснователь OpenRouter Алекс

Аталла рассказывает, как сервис, который называли «просто обёрткой», стал нейтральным слоем маршрутизации для более чем 10 миллионов разработчиков.

Для компании из этой истории следует практический вывод: «лучшая модель», выбранная на старте, устаревает раньше, чем проект доходит до прода.

Поэтому в архитектуру стоит сразу заложить слой, через который модель меняется за день.

OpenRouter появился в первую волну открытых моделей. В феврале 2023 года Meta выпустила Llama. Через месяц исследователи

Стэнфорда дообучили на её основе Alpaca и, по их словам, потратили на это меньше 600 долларов.

Осенью того же года вышла Mistral 7B. У каждой модели были свои цены, лимиты, формат API и слабые места.

Аталла и его команда поставили на то, что разработчику нужна одна точка входа ко всем моделям.

Двадцать ключей от двадцати провайдеров ему не нужны. В 2023 году эту нишу считали мелкой.

Сегодня в одном продукте одна модель пишет код, вторая дёшево классифицирует обращения, третья разбирает длинные документы. Anjney Midha из AMP и ведущий swyx обсуждают OpenRouter как критическую инфраструктуру, хотя задачу он решает скучную: принимает запрос, выбирает провайдера, выполняет вызов и выставляет счёт.

Надёжность продукта держится как раз на этой скучной работе.

В большинстве корпоративных AI-пилотов, которые к нам приходят, картина одинаковая.

Команда выбрала модель, прописала SDK конкретного провайдера в двадцати местах, подогнала промпты под её особенности и запустилась.

Через полгода происходит одно из трёх: выходит модель в 3-5 раз дешевле при том же качестве, провайдер меняет условия, или служба безопасности запрещает отправлять персональные данные за периметр.

Переезд занимает квартал, потому что модель срослась с бизнес-логикой.

Это прямой удар по TTU (time to use, время до полезного результата).

Пока команда переписывает интеграцию, бизнес не получает результата.

Если AI не двигает метрику, руководство его выключает, а вместе с ним урезает бюджет и расстаётся с людьми, которые проект защищали.

Российской компании мультимодельность нужна сильнее, чем стартапу из Кремниевой долины.

Часть данных по закону должна оставаться в контуре, значит, нужны Sber GigaChat, YandexGPT или открытые Qwen и Llama на своих серверах.

Для задач без чувствительных данных бывает выгоднее Anthropic Claude, OpenAI или Google Gemini, если к ним есть легальный доступ.

Регуляторы и провайдеры меняют правила чаще, чем компания успевает потратить годовой бюджет.

Если продукт привязан к одному провайдеру, команда после каждого такого изменения проходит миграцию заново.

Готовый облачный роутер вроде OpenRouter корпоративный контур в РФ обычно не закрывает: мешают требования к хранению данных и оплате.

Задачу решает собственный шлюз с той же логикой.

В KT.Team эту задачу закрывает LLM & Security Gateway.

Приложения обращаются через этот шлюз к любой модели по единому API.

Шлюз маршрутизирует запросы по типу задачи, переключается на резервных провайдеров, маскирует данные и считает токены.

Поверх него работают RAG-контуры по корпоративным документам и MCP-серверы.

Через MCP модель получает данные 1С, Pimcore или Akeneo как инструменты, и под каждую новую модель отдельная интеграция не нужна.

События между системами передаются через Apache Kafka или Datareon, как в обычной интеграционной архитектуре.

На витринах и в PIM мы применяем эту схему для генерации описаний карточек, фасетов и таксономии каталога.

Массовую разметку выполняет дешёвая модель, сложные формулировки пишет сильная, и при переходе на новую модель пайплайн остаётся прежним.

Пользователь видит простую кнопку «сгенерировать».

Чтобы она продолжала работать после смены модели, провайдера или регуляторных требований, инженеры делают работу, которую снаружи не видно.