Репликация важнее шардинга: данные в эпоху AI

Кляйпман и Эпплтон о том, почему AI ускорил код, но не отменил дисциплину данных: репликация, formal verification, design engineering.

  • Проблема: код быстрее данных
  • Тезис Кляйпмана: облако сделало репликацию важнее шардинга
  • Как это работает технически
  • Design engineering: где дизайн встречается с кодом

Проблема: код быстрее данных

  1. Мартин Кляйпман и Мэгги Эпплтон - в двух разных разговорах Pragmatic Engineer - сошлись в одной мысли с разных сторон: AI ускорил написание кода, но не отменил инженерную дисциплину - ни в данных, ни в дизайне.

  2. Для бизнеса это значит, что скорость больше не главный дефицит.

  3. Главный дефицит - архитектура, которая не разваливается под реальной нагрузкой. LLM сократили время написания функции с часов до минут.

  4. Слой данных к этому темпу не готов: миграция схемы, репликация между регионами, согласованность при параллельной записи - задачи, где ошибка не видна в демо и стоит дорого в проде. Команда, которая гонит фичи на скорости AI-кодогенерации, но не пересматривает модель данных под новую нагрузку, копит технический долг, который вскроется на первом пике трафика.

Тезис Кляйпмана: облако сделало репликацию важнее шардинга

  1. Кляйпман, автор "Designing Data-Intensive Applications", формулирует сдвиг: ручной шардинг - техника прошлого десятилетия, когда инфраструктура была дорогой и негибкой.

  2. Облако удешевило горизонтальное масштабирование через управляемую репликацию - Postgres-реплики, Kafka-партиции с автобалансировкой, managed Elasticsearch-кластеры.

  3. Инженер проектирует модель согласованности: что произойдёт при разрыве сети между репликами, какие гарантии даёт запись. Второй тезис

  4. Кляйпмана смелее: AI может демократизировать formal verification - генерировать код и доказательство его корректности одновременно.

  5. Сегодня formal methods (TLA+, property-based testing) - удел узкого круга инженеров с академической подготовкой.

  6. Если модель умеет писать спецификацию инварианта рядом с миграцией схемы, порог входа падает, и проверка данных на разрыв перестаёт быть роскошью крупных компаний.

Как это работает технически

Практическая связка выглядит так: LLM-агент предлагает миграцию БД → тот же контур генерирует property-based тесты на граничные случаи (конкурентная запись, откат транзакции, дублирующиеся события в Kafka) → отдельный шаг проверяет инвариант формально, до деплоя, а не после инцидента.

В KT.Team такой контур мы собираем на Python и Apache Kafka для событийного слоя, с Elasticsearch под поиск и агрегации, и с MCP как протоколом, через который AI-агент безопасно обращается к данным - через LLM & Security Gateway, который логирует и ограничивает каждый вызов, а не напрямую к продовой базе. Это и есть AI-native integration: контур с проверками на каждом шаге между агентом и данными.

Оценить, где ИИ даст эффект в вашем процессе

Design engineering: где дизайн встречается с кодом

Эпплтон описывает design engineering как дисциплину на стыке. Design engineer сам доводит интерфейс до продовой сборки, минуя стадию передачи макета отдельному разработчику. AI ускоряет этот стык: генерация компонентов из дизайн-токенов, вариации UI под A/B-тест - минуты вместо дней. Дисциплина остаётся ручной: система дизайн-токенов, которая не расползается по проекту, требует архитектурного решения человека, а не промпта.

Что это значит для бизнеса

Здесь работает принцип TTU - time to use. Ценность AI-инструмента не в том, насколько впечатляюще выглядит демо, а в том, сколько времени проходит от запроса до результата, которому можно доверять под нагрузкой. Простой на вид результат - стабильная репликация, корректная миграция без простоя, интерфейс без визуальных багов - требует сложной инженерии под капотом: модели данных и процесса проверки, которые не рухнут при реальном трафике.

Вывод

AI снял ограничение на скорость написания кода. Ограничение на корректность систем данных осталось на месте. Компании, которые используют это окно для найма промпт-инженеров без пересмотра архитектуры репликации и тестирования инвариантов, получат быстрый код и медленную деградацию под нагрузкой. Компании, которые встроят formal-проверки и событийную архитектуру в тот же AI-контур, получат систему, которая держится в первую пятницу высокого трафика, - то, что бизнес и называет результатом.

Обсудить статью: Репликация важнее шардинга: данные в…

Укажите email или телефон, чтобы мы могли вам ответить.

Отправить через: