Дообучение моделей: короткий гайд

Дообучение звучит как способ «сделать модель своей»: взять открытую LLM, обучить на ваших данных — и получить эксперта вашего домена.

Дообучение решает узкий, но реальный класс задач: когда модель должна работать в закрытом периметре на доступном железе, без облака и без поиска по корпусу на каждый запрос.

За его пределами дешевле и надёжнее облако с RAG или дисциплина llm-wiki.

Этот текст — про то, как отличить одно от другого, без лишней теории и без выдуманной экономики.

Это разбор одного способа дать LLM ваши знания из общего кластера.

Карта всех способов и того, как они сочетаются, — в обзоре «Как дать LLM ваши знания».

Для большинства прикладных задач речь идёт о первых двух видах — поведение и формат, иногда с лёгким адаптером.

Продолженный претрейн — отдельный, дорогой разговор.

Сильные стороны дообучения — это не «модель становится умнее».

Это конкретные следствия того, что знание оказалось внутри весов.

Модель, дообученная на корпусе однотипных договоров компании, рассуждает как профильный юрист этой компании: знает структуру их договоров, типовые формулировки, на что смотреть в первую очередь.

Она работает в периметре — договоры не уходят в облако — и не требует RAG на рантайме.

Два условия, без которых пример не работает. Первое: паттерны и стиль должны быть стабильны.

Если формы договоров и трактовки меняются каждый месяц, преимущество тает, и вопрос смещается к RAG/llm-wiki поверх живого корпуса. Второе: дообучение фиксирует манеру и структуру рассуждения, но не гарантирует фактическую и правовую корректность — её всё равно проверяет человек.

Самый частый практический ответ — оба слоя.

Дообучить модель под доменное поведение и формат, RAG — под свежие факты.

Тогда вшито то, что стабильно (манера, структура, лексика), а снаружи живёт то, что меняется (цифры, документы, регламенты).

Дерево ниже помогает определить, в какую сторону клонит конкретная задача.

Соблазнительно сравнить «дообучение vs облако» по цене за токен.

Это неверная ось. У дообученной модели в периметре нет облачного тарифа за токен — стоимость вызова прячется в утилизацию и эксплуатацию железа.

Экономику on-prem решает утилизация GPU, а не цена токена: простаивающий ускоритель дорог при любой «дешёвой» модели, а хорошо загруженный окупает себя при высоком потоке вызовов.

Поэтому рублёвых сумм за железо или инференс мы здесь сознательно не печатаем — они зависят от вашей конфигурации, профиля нагрузки и горизонта владения.

Стоимость контура считается под задачу.

Да, KT.Team дообучает модели — в том числе так, чтобы модель работала локально, на доступном железе и внутри вашего периметра.

Это уместно, когда задача попала в «правую» ветку дерева: приватность, edge/офлайн, высокий объём вызовов, стабильный домен со специфичным поведением.

Поскольку речь об открытых моделях в вашем контуре, систему и веса вы забираете себе — без привязки к облачному вендору, его ценнику и его доступности. И так же честно: если знание у вас подвижно, датасета нет, нужны ссылки и аудит — вам это не нужно.

Тогда мы соберём облако с RAG или дисциплину llm-wiki, и это будет дешевле во владении и проще в эксплуатации.

Часто итог — комбинация: дообученное поведение плюс RAG на свежие факты.

Если данные нужно держать под 152-ФЗ и обезличивать на входе в модель — это слой LLM Gateway, он работает и с дообученной, и с облачной моделью.

Заходим короткими итерациями: сначала лёгкий адаптер и замер эффекта, потом расширение — чтобы вы платили за результат, а не за обещание.

Полная карта способов дать LLM знания и как они сочетаются — «Как дать LLM ваши знания».

Понимание против исполнения, веса против контекста — «Линза Карпатого». RAG как механизм извлечения в рантайме — инструмент RAG.

Корпоративная память по принципу «No RAG» — Sloy.

Модели под 152-ФЗ и обезличивание на входе — LLM Gateway.

Внедрение ИИ короткими итерациями — для бизнеса.

Цифры по стоимости моделей и калькулятор контуров — разбор LLM 2026.