Решения

Интеграции для обмена данными между IT-системами

Проектируем обмен данными между системами с помощью ESB, ETL и DWH, чтобы интеграции были управляемыми и масштабируемыми.

Наши клиенты

Клиенты и партнеры

Capital Group
ФСК
Самолёт
Точно
Dogma
Сбер Сити
FM Logistic
Danone
Рельеф-Центр
Pandora
Saint-Gobain
Askona
FIX PRICE
Снежная Королева
Музторг
ТВОЕ
Greenway
Polaris
Campari
Яндекс
Лента
Международный бренд парфюмерии и косметики
Такси 369
РАЭК
EKF
ЛЭТУАЛЬ
Inventive Retail Group

Интеграции

Меняйте одну систему, не переписывая остальные

Интеграционный контур закрывает четыре болезни жёсткого обмена: потерю данных, каскад доработок, перегрузку источников и неконсистентность. ESB, Kafka и n8n решают разные задачи.

50потоков за 6 месяцев — ориентир скорости для ESB-проекта
48потоков на производстве с целевой слабосвязанной схемой
16xбыстрее могут запускаться типовые интеграции по сравнению с кодом

ESB

Маршрутизация, преобразование, гарантированная доставка и low-code сопровождение legacy-обменов.

Kafka

Durable log: событие хранится, перечитывается, несколько потребителей читают в своём темпе.

n8n

Быстрая оркестрация процесса и AI-шагов там, где не нужен тяжёлый event streaming.

источникконтракт данныхESB/Kafka/n8nмониторингпотребители
200+систем «1С:Розница», подключённых через единый API в одном из проектов
48потоков обмена, запущенных на ESB для производственного предприятия
1–2 мес.типовой срок проекта по risk-free-модели
>100 сообщений/минпропускная способность высоконагруженного потока без масштабирования источника

Что соединяем в единую IT-экосистему

Обмен «точка-точка» против шины данных

Обмен «точка-точка»

  • При отказе одной из систем данные теряются: источник считает сообщение переданным, а получатель его не принял.
  • Источник отдаёт данные как есть - каждый потребитель преобразует их под свой формат, любое изменение источника вызывает каскад правок.
  • Потребители дублируют запросы в систему-источник и перегружают её; чаще всего это старая монолитная система.
  • API внутри системы-источника: её недоступность блокирует всех потребителей сразу.

ESB и хранилище

  • При обрыве связи сообщение считается необработанным и передаётся в следующем проходе.
  • Изменение ERP или другой системы затрагивает только коннекторы «источник-хранилище», для потребителей всё остаётся без изменений.
  • Потребители обращаются в хранилище - нагрузка на источник снижается без доработок системы и без увеличения ресурсов.
  • API-коннекторы вынесены в отдельный сервис: они работают независимо от источника и держат высокую нагрузку.

Четыре задачи обмена, которые решает наш подход

Исключаем потерю данных при обмене

При обмене «точка-точка» в момент отказа одной из систем данные могут теряться: одна система считает сообщение переданным, когда вторая его не получила. Мы настраиваем интеграции так, что при обрыве связи сообщение считается необработанным и будет передано в следующем проходе.

Меняем IT-системы без изменения остальных

В старом подходе любое изменение источника влечёт каскад правок всех связанных потоков. У нас изменение ERP или любой другой системы затрагивает только коннекторы «источник-хранилище» - для всех потребителей всё остаётся без изменения.

Снижаем нагрузку без доработок и ресурсов

Одни и те же данные нужны разным системам, и потребители дублируют запросы в источник, увеличивая нагрузку. Потребители обращаются в хранилище, поэтому нагрузка на основной источник снижается без доработок самой системы и увеличения ресурсов.

API как отдельный сервис

Для подключения множества однотипных потребителей (например, розниц) API часто создаётся внутри системы, и её недоступность становится проблемой для всех. Мы создаём API-коннекторы не внутри сервиса, а отдельным сервисом - они работают независимо от источника и выдерживают высокую нагрузку.

Как устроен обмен через ESB и хранилище

Источники → хранилище → потребители

Системы-источники

ERP / 1Сосновные данные
CRMклиенты, сделки
Маркетплейсы и сайтызаказы, товары

Шина данных (ESB) + хранилище

Коннекторы «источник-хранилище»независимые микросервисы
DWH / Data Lakeобщее структурированное хранилище
Мониторинг и логированиеконтроль каждого потока

Потребители

Розницы и сервисычерез API-коннекторы
BI / аналитикаотчёты из готовых данных
Компоненты ESB не зависят друг от друга и могут работать на разных серверах в разных локациях. Отказ обмена любой из систем затрагивает только эту систему — всё остальное продолжает работать.

Доказываем на примере 1С: доступна любая логика трансформации

С готовым хранилищем данных внедрение BI становится проще

Внедряя ESB, мы создаём общее структурированное хранилище данных предприятия: Data Warehouse (DWH). К такому хранилищу легко подключить любую систему аналитики и выгрузки отчётов - все данные уже готовы. Архитектуру хранилища строим так, что формирование отчётов по большому массиву информации не снижает скорость ежедневного обмена данными.

Система мониторинга контролирует работу каждого потока

  1. Логируем ключевые этапы работы каждого потока.

  2. Если случится ошибка, которая требует реакции, вы получите сообщение в Telegram с описанием ошибки и ссылкой на подробности.

  3. Вы реагируете на инциденты проактивно, а не по обращениям пользователей.

  4. Оператор техподдержки точно знает, где и что пошло не по сценарию, - это помогает решить инцидент быстрее.

  5. Мы развернём систему мониторинга с нуля либо настроим мониторинг в вашей инфраструктуре.

Разобрать ваш контур интеграции

Типовая схема работы

  1. 01

    Проектирование слабо связанной архитектуры

    Анализируем действующую IT-архитектуру (ASIS), прорабатываем обмены по ключевым сущностям, проектируем архитектуру TOBE, готовим roadmap перехода, рекомендации по инструментам и документацию. Вы получаете план перехода с учётом особенностей бизнеса.

  2. 02

    Перевод самых актуальных потоков

    BPMN-схемы процессов, разворачивание и настройка компонент (ETL, хранилище, логирование, мониторинг), настройка коннекторов, сбор логов, документирование и обучение. Это решает 80% проблем обмена данными между системами.

  3. 03

    Перевод остальных потоков для наполнения хранилища

    BPMN-схемы процессов, настройка коннекторов, сбор логов и мониторинга, документирование и обучение. Вы получаете единый механизм обмена всего предприятия и полноту данных для аналитики.

Подбираем проверенные продукты с открытым кодом

Используем opensource-решения, поэтому клиенты сокращают расходы на лицензии без риска ограничений со стороны законодательства разных стран. Если у вас есть предпочтения, можем работать и с другими продуктами, в том числе с платной лицензией.

Стек инструментов под обмен данными

ETL

Talend (ETL)

Графическая low-code-студия для создания коннекторов, входит в Salesforce. Используем версию Community Edition.

DevOps

GitLab

Веб-инструмент жизненного цикла DevOps с открытым кодом: контроль версий и настройка прав доступа (ролей).

БД

PostgreSQL

Объектно-реляционная СУБД с открытым кодом - хранилище данных, активная разработка ведётся более 35 лет.

Логи

Elastic Stack

Хранение, анализ и поиск по логам на платформе Elasticsearch - корпоративная безопасность и наблюдаемость.

Мониторинг

Grafana

Дашборды о состоянии потоков: визуализация и анализ данных «из коробки» по широкому спектру источников.

Стек

Брокеры и BI на выбор

ActiveMQ, RabbitMQ, Kafka; ETL - Ballerina, Nifi, Datareon, WSO2, MuleSoft; БД - MongoDB, Hadoop, Arenadata; BI - Yandex DataLens, Redash, Google Data Studio, Microsoft Power BI.

Материал

Таблица сравнения типов интеграций

Мы оценили, как три популярных типа интеграций влияют на качество IT-контура, и собрали результат в компактную таблицу сравнения. Отправьте заявку и получите файл бесплатно.

  • три типа интеграций в одном сравнении
  • влияние на качество IT-контура
  • бесплатно по заявке
Получить таблицу сравнения

Кейсы

Кейсы интеграций и ESB

Читать все

Отзывы

Отзывы клиентов по интеграционным проектам

Все отзывы

Команда KT.Team — зрелый партнер в разработке. Очень четко организован деливери-процесс, особенно стоит отметить слаженное взаимодействие внутри инженерной команды. Если команда видит, что процесс разработки нужно докрутить, она это делает. На этапе обсуждения команда вникает в суть задач, стремится понять бизнес-контекст. Работа нацелена не на формальное выполнение ТЗ, а на решение реальной проблемы. Благодаря сильной инженерной экспертизе и продуктовому мышлению, команде можно доверять не только реализацию, но и архитектуру всей системы.

Вадим Миженский Вадим МиженскийРуководитель управления разработки цифровых продуктов, ГК ФСК

Группа компаний Музторг успешно сотрудничает с командой KT.Team уже более двух лет. Нам очень помогает высокий профессионализм наших партнеров, умение сочетать четкую организацию проектной работы с минимизацией формальных ограничений. Отдельно хотел бы отметить доброжелательность и открытость сотрудников KT.Team.

Дмитрий Савельев Дмитрий СавельевСоветник правления по цифровому развитию, Музторг

Вы задали высокие стандарты взаимодействия с подрядчиками. После вас общение с другими вызывает ощущение несоответствия ожиданиям.

Дмитрий Столбов Дмитрий СтолбовCEO, Экосистема MechTech

Мы сотрудничаем с kt.team больше года и за это время прошли длинный путь — от быстрого запуска небольшого сайта до ознакомительного каталога и нескольких интеграций. Команда оперативно реагировала на наши запросы и дополнения к ТЗ, вместе мы протестировали несколько гипотез и выбрали самые рабочие. Всё это не помешало сообща создать проект с современным дизайном и функционалом, удобным как для пользователей, так и для сотрудников Maxxium.

Андрей ИвановРуководитель департамента цифровой трансформации, Maxxium

We came to KT.Team with a request to set up a platform to easily connect clients, carriers and WMS in FM Logistic France. The result was successively achieved, and by now we have onboarded a big client on the new platform — it's a great result! I'd like to especially note very good reactivity and professionalism of the project managers, devs and ops who always help us.

Eric DuboilleDirecteur Expertise E-Commerce, FM France SAS, FM Logistic

Вы знаете наш бизнес лучше, чем мы сами!

Максим Манхаев Максим МанхаевФаундер, Такси 369

Обсудить решение: Интеграциидля обмена данными между…

Отправить через: