Основной приём - GPU snapshotting: состояние уже прогретого процесса, загруженные веса модели, инициализированный CUDA-контекст замораживаются и восстанавливаются за секунды вместо повторной инициализации GPU и полной перезагрузки весов, которая может занимать больше минуты.
Повод
Modal - инфраструктурная компания для запуска AI-моделей - подняла $355 млн в раунде Series C и переориентировала архитектуру на agent experience: контракт с железом под процессы, которые живут секунды. CTO компании Акшат Бубна описывает перестройку конкретно: эластичный inference, снапшоты GPU-состояния, изолированные песочницы для каждого запуска, работа сразу на 17 облачных провайдерах. Агент - короткий процесс: рождается, отрабатывает секунды, умирает тысячами копий в час.