Интеграции для обмена данными между IT-системами

Интеграция систем - это организованный обмен данными между CRM, ERP, 1С, складом, сайтом и маркетплейсами: определено, кто источник каждой сущности, в каком виде она передаётся, с какой частотой и что происходит при отказе. API-интеграция - один из способов такого обмена: подключение к программному интерфейсу конкретной системы. API отвечает на вопрос «как достучаться до данных», интеграция систем - на вопрос «как устроен обмен во всём контуре». Набор API сам по себе управляемого обмена не даёт: без отдельного слоя передачи каждая новая связь добавляет зависимость между системами.

Основных типов четыре: «точка-точка», брокер сообщений, шина данных (ESB) и iPaaS. Различаются они тем, где относительно систем находятся ETL-функции и хранилище: при «точке-точке» и то и другое внутри самих систем, у брокера наружу вынесено хранение очереди, у ESB отделены и ETL-слой, и контур хранилищ. Выбор идёт от числа систем и потоков, требований к отказоустойчивости и от того, кто будет сопровождать обмен после запуска. Сравнение по четырём критериям - в таблице выше, развёрнутый разбор - в статье Как выбрать тип интеграции.

В интеграции «точка-точка» системы обмениваются напрямую и вынуждены знать о формате, скорости и доступности друг друга. Брокер выносит наружу хранение сообщений, но ETL-логика остаётся на стороне систем, а очередь отдаётся получателю целиком - фильтровать её приходится ему самому. ESB разделяет все три роли: система генерирует и потребляет данные, ETL-слой передаёт их в нужном виде, хранилище хранит. Поэтому шина фильтрует поток под конкретного потребителя и регулирует нагрузку на источник, а отказ одной системы не блокирует остальные. Оценка трёх типов по пяти критериям слабой связанности - в статье Интеграции для слабо связанной архитектуры.

Отсутствие API не закрывает интеграцию - меняется цена поддержки. Порядок выбора идёт от самого надёжного контракта к самому хрупкому: официальный API или webhook, затем регламентный файловый обмен (CSV, XML, SFTP, почта), затем CLI или SDK, затем собственный адаптер, и только в последнюю очередь browser automation для редких операций. Чем ниже уровень, тем меньше гарантий даёт вендор и тем больше мониторинга нужно с вашей стороны. Разбор всех уровней с примерами - в статье Интеграция без API: как подключить закрытую систему.

Стоимость определяют число подключаемых систем, число сущностей в обмене, наличие готового доступа и сервера, а также режим передачи: пакетный обмен дешевле real-time. Проект идёт этапами - анализ текущей архитектуры, проектирование целевой схемы, перевод самых актуальных потоков, затем остальных, - и основная часть бюджета уходит не на код, а на анализ и проектирование до старта. Порядок сумм по своему ландшафту можно прикинуть в калькуляторе стоимости интеграционных потоков; результат, срок и стоимость мы фиксируем в документах до начала работ.

Потеря возникает там, где источник считает сообщение переданным, а получатель его не принял, - типичная ситуация для прямого обмена «точка-точка». Мы строим потоки так, что при обрыве связи сообщение остаётся необработанным и уходит в следующем проходе, а коннектор проверяет контракт системы - полноту и корректность данных - до отправки потребителю. Ключевые этапы каждого потока логируются: при ошибке, которая требует реакции, приходит сообщение в Telegram с описанием и ссылкой на подробности.