Гонка вооружений в AI-безопасности: урок для бизнеса

На подкасте Latent Space Эрик Нгуен, CEO Radical Numerics, разобрал атаку на инфраструктуру Hugging Face и вопрос, который она подняла в индустрии: что ещё в AI-стеке ломается тем же способом. Anthropic в ответ расширила фильтры Claude на два риска - кибербезопасность и биобезопасность. Клеман Деланг, CEO Hugging Face, сформулировал тезис жёстче: оборонительные возможности в кибербезопасности обязаны быть открытыми и обновляться не медленнее моделей, которые атакуют.

Аргумент подкрепил GLM 5.2 - модель, которую китайская Zhipu AI выложила в открытый доступ бесплатно и которая за месяцы вошла в инфраструктуру тысяч разработчиков по всему миру.

Компании, которые дают LLM-агентам доступ к инструментам через MCP или строят RAG поверх внутренних документов, открывают тот же класс поверхности атаки, что и модельные вендоры, - только без бюджета Anthropic на классификаторы. Каждый MCP-сервер, который агент может вызвать, и каждый источник в RAG, который он может прочитать, - точка, где модель способна выполнить непроверенную инструкцию или слить данные, если между агентом и системой нет отдельного слоя фильтрации и логирования.

Это слой, который в KT.Team называем LLM & Security Gateway: прокси между агентом и инструментами, который проверяет вызовы, режет то, что не должно уйти наружу, и обновляется отдельно от самого агента - патч-цикл не привязан к релизному циклу продукта.

Правило TTU - time to use - работает и для защиты: цена решения измеряется скоростью, с которой оно даёт результат. Guardrail, который патчится месяцами после выхода атакующей модели нового поколения, - театр: создаёт ложное чувство безопасности до первого инцидента.

Бизнес, который подключает AI-агентов к внутренним системам, обязан мерить скорость обновления своей защиты той же линейкой, что и скорость своих фич, - иначе разрыв, который сегодня обсуждают на уровне Anthropic и Hugging Face, откроется у него на уровне одного скомпрометированного MCP-сервера.