Распределённая база у вас уже есть, только без гарантий

До Cockroach Labs Маттис работал в Google над файловым хранилищем Colossus. В 2012 году Google описала Spanner - глобальную базу, в которой транзакции в Нью-Йорке и в

База режет данные на диапазоны (ranges) и хранит каждый в трёх копиях.

Запись считается сделанной, когда её подтвердили две копии из трёх.

Порядок согласования задаёт протокол Raft: у каждого диапазона есть лидер, он ведёт журнал операций, остальные копии воспроизводят этот журнал.

Если сервер или целая стойка выходит из строя, база продолжает работать и не теряет подтверждённых записей.

За согласованность платят деньгами и миллисекундами. От Москвы до

Если копии стоят в разных городах, каждая запись ждёт кворум, и пользователь получает эту задержку при каждом сохранении заказа.

Теорема CAP описывает этот выбор строго.

Когда сеть между узлами рвётся, система должна выбрать одно из двух: продолжать отвечать или гарантировать согласованность данных. CockroachDB выбирает согласованность. Узлы, оставшиеся без кворума, перестают принимать записи, и данные не расходятся.

Для этого достаточно взять инженерные принципы CockroachDB и применить их к обмену между системами, саму базу ставить незачем.

Так мы строим интеграции в KT.Team: - Журнал событий.

При скромном потоке событий ту же роль выполняет шина Datareon или Talend ESB. - Один владелец каждого факта.

Остатки принадлежат 1С, контент - PIM, статус заказа - OMS. В CockroachDB записи в диапазон принимает ровно один лидер.

Здесь то же правило действует на уровне систем. - Идемпотентность.

Каждое сообщение несёт уникальный ключ.

Повторная доставка того же заказа не создаёт второй заказ. - Transactional outbox.

Система записывает изменение и исходящее событие в одной транзакции своей базы.

Отдельный процесс доставляет событие, даже если брокер был недоступен в момент записи. Так закрывается сценарий «в 1С сохранилось, а на сайт не ушло».

- Метрика расхождения. Сверка остатков между 1С и сайтом идёт по расписанию, процент расхождения выводится на дашборд.

Когда он растёт, инженер получает алерт раньше, чем клиент получает ошибку. Каждый пункт выглядит простым.

На практике outbox и идемпотентность требуют дисциплины в каждой системе ландшафта, включая доработки 1С, которые компании годами откладывают.

Основная работа интегратора состоит именно в этом.