Дообучение моделей под задачи компании

Почти никогда. Сначала промпт, затем RAG - дообучение включается, когда их предел доказан на evals, то есть измерен на контрольном наборе, а не предположен. Это самый дешёвый способ не потратить бюджет на задачу, которая решается парой примеров в контексте.

Когда модель должна говорить терминологией и стилем вашего домена - юридические формулировки, техрегламенты, отраслевой жаргон. Когда классификация, извлечение или разметка на ваших данных стабильно не дотягивает до нужной точности. Когда нужен стабильный формат ответа для интеграции, а не «как получится». И когда модель работает локально в закрытом контуре и важно выжать качество из компактной открытой модели.

Когда знания меняются каждую неделю: свежие факты - задача RAG, а не весов модели. Когда рабочих примеров мало: на десятках пар «вход → ответ» качество измеримо не вырастет. И когда нужен «чат обо всём» без измеримой метрики - тогда просто не с чего зафиксировать критерий приёмки.

Пары «вход → эталонный ответ» собираем и чистим из ваших документов, диалогов и учётных систем. Персональные данные обезличиваются до передачи в модель. Если часть трафика идёт во внешние модели, обезличивание выполняет LLM-шлюз, который возвращает реальные значения уже в ответе.

Вам. Мы используем LoRA-адаптеры открытых моделей: это дешевле полного дообучения и воспроизводимо, а датасет и веса остаются собственностью компании. Вместе с моделью команда получает процесс обновления датасета и повторного дообучения - чтобы дальше обходиться без нас.

Замером до и после: та же метрика на том же контрольном наборе, что использовался для оценки промпта и RAG. Улучшение на evals - критерий приёмки, а не субъективное «стало лучше», и он фиксируется до старта.