Под одну и ту же задачу есть три взаимоисключающих контура, и разумная последовательность — от дешёвого и быстрого к дорогому. (A)
Зарубежная модель и 152-ФЗ — это не «или-или»
-
«Fable 5 / Opus 4.8 / GPT сильнее, но они в чужом облаке — значит, нам нельзя» — частый вывод, и он неверен по двум причинам. Первая: 152-ФЗ регулирует не процесс и не модель, а персональные данные — те, что идентифицируют человека.
-
Большая часть текста, который вы отправляете в LLM, ПДн не содержит. Вторая: между «всё в зарубежном облаке как есть» и «всё на своём железе» есть промежуточный контур — шлюз приватности, который обезличивает данные до отправки и восстанавливает их в ответе. GPU под собственный инференс — самый дорогой и самый поздний шаг, а не первый.
-
Начните с того, что дешевле и быстрее: шлюз приватности перед зарубежной моделью или РФ-облако.
-
Покупайте железо, только если контур этого реально требует — и это решение считается в калькуляторе под вашу конфигурацию, а не «на глаз».