AI ускорил релизы. Теперь система должна переживать сбои

Приёмы из книги известны давно. AI переводит их из разряда хорошей практики в обязательный минимум. ###

Таймауты и повторы У каждого внешнего вызова должен быть явный предел ожидания.

Повторный запрос отправляют с растущей паузой (exponential backoff) и случайным разбросом (jitter), чтобы тысяча клиентов не ударила по сервису одновременно в момент, когда он поднимается после падения. ###

Предохранитель и переборки Circuit breaker работает как автомат в электрощитке.

После серии ошибок он перестаёт слать запросы в сломанный сервис и сразу возвращает запасной ответ. Bulkhead, или переборка, выделяет каждой зависимости свой пул ресурсов: медленный поиск по каталогу забирает только свои потоки и не трогает потоки оформления заказа. ### Идемпотентность

Операция идемпотентна, если её повтор не меняет результат.

Сообщение «списать оплату» с уникальным ключом можно доставить дважды, а деньги спишутся один раз.

Без идемпотентности каждый повтор запроса рискует создать дубль заказа.

В проектах KT.Team мы закладываем эти приёмы в архитектуру с первого спринта.

Встраивать их в работающую систему после первой аварии дольше и дороже.

Вызовы моделей идут через LLM & Security Gateway.

Шлюз держит таймауты и лимиты, считает токены и переключает запрос на резервную модель: если Claude не ответил за отведённое время, шлюз отправляет запрос в Qwen или GigaChat.

Задачи с персональными данными шлюз маршрутизирует только в российский контур.

Приложение про этот выбор ничего не знает и просто получает ответ.

Обмен с учётными системами мы строим через очередь: Apache Kafka или шину Datareon.

Если 1С недоступна полчаса, сообщения ждут в очереди, а сайт продолжает принимать заказы.

Потребители сообщений идемпотентны, поэтому повторная доставка не создаёт дублей. В AI-native development код пишет агент, а в прод его пропускают гейты: автотесты, канареечный релиз на малую долю трафика и автоматический откат при росте ошибок.

Скорость даёт агент, а до клиентов доходят только коммиты, прошедшие гейты.