С помощью ESB подхода к обмену данными создаем общее хранилище предприятия для быстрого подключения аналитики и отчетов. Обсудить проект Вы также получите Таблицу сравнения типов интеграций Data Warehouse Data Warehouse - это комплекс структурированных данных всего предприятия. Он состоит из хранилищ разных объектов (заказов, цен, товаров, др). Структура данных определяется заранее. Ведь бизнес знает, какие системы и, как используют их для целей настоящего.

Хранилища не зависят друг от друга и могут работать на разных серверах в разных локациях. Так отказ любого из них, не повлечет проблем с остальным. Data Warehouse позволяет легко подключить любую систему аналитики. Данные легко фильтровать по открытым полям и искать нужные объекты. Data Warehouse улучшает обмен данными между IT-системами:

Снижает нагрузку на системы;

Ослабляет связанность изменений систем;

Позволяет агрегировать и трансформировать данные, как угодно. Подробнее об интеграциях мы рассказываем здесь.

Сравнение Data Warehouse и Data Lake

Критерий	Data Warehouse	Data Lake
Цель внедрения	Обмен данными и аналитика для целей настоящего дня	Хранение и обработка данных для использования в будущем
Тип данных	Структурированные данные, понятные любым потребителям	Структурированные и неструктурированные данные
Порядок обработки	Обработка данных перед загрузкой в хранилище	Данные обрабатывает аналитик после загрузки Отличие DL от DWH по цели внедрения На практике граница между типами хранилищ условна. Все зависит от качества реализации и дальнейшего использования.

Data Lake

Data Lake Что такое Data Lake? Разберем на простом примере системы управления заказами (OMS). Например, система OMS хранит историю данных по статусам всех заказов. Эти данные важны для аналитики, но саму систему они только засоряют. Такой объем исторических данных лучше вынести в общее хранилище, чтобы не перегружать систему. Невозможно учесть всех форматов использования этих данных в будущем. Сегодня нужен отчет по количеству времени, за которое заказ переходит из одного статуса в другой.

Через месяц потребуется использовать данные о заказах по-другому и в другом формате. Чтобы хранить данные для использования их в будущем создается Data Lake - озеро данных предприятия. В такое хранилище данные попадают, как есть. Когда станет понятно, для чего использовать эти данные и как, аналитики смогут приступить к обработке.

Отличие DL от DWH по цели внедрения

Data Lake	Data Warehouse
Собрать максимум данных с целью обработки в будущем.	Собрать данные и сделать их пригодными для потребления сразу.

Создаем отказоустойчивые хранилища данных

При нашем подходе в архитектуре нет единой точки отказа
Компоненты хранилища не зависят друг от друга и могут работать на разных серверах в разных локациях
Мы создаем дубли хранилищ на нескольких серверах. Если один сервер откажет, поток данных будет перенаправлен на другой сервер 4.

Вы можете использовать, как облачные сервера, так и on-premise Подберем проверенные международные продукты с открытым кодом Мы используем Opensource решения, поэтому наши клиенты сокращают расходы на оплату лицензий без риска ограничений со стороны законодательства разных стран. Графическая студия для создания коннекторов Простая и гибкая low-code платформа, входящая в состав компании Salesforce с выручкой более 30 млн $ в год. Мы используем версию Community Edition.

03

Контроль версий и настройка прав доступа (ролей) Веб-инструмент жизненного цикла DevOps с открытым исходным кодом. Более 30 млн зарегистрированных пользователей. База данных (хранилище) Мощная объектно-реляционная система баз данных с открытым исходным кодом, активная разработка которой ведется более 35 лет. Хранение, анализ, поиск по логам Решения для корпоративной безопасности, наблюдения и поиска, построенные на платформе Elasticsearch, используемой тысячами компаний.

04

Дашборды с информацией о состоянии потоков Система визуализации и анализа информации, которая позволяет «из коробки» работать с широким спектром источников данных. 1 2 2 /

Типовая схема работы

Мы выстроили процесс внедрения так, чтобы вы получили максимум пользы. Вы можете пройти с нами весь путь. Или заказать любой из шагов отдельно, а остальное передать своей команде.

1. Проектирование слабо связанной архитектуры

Проведем анализ действующей IT-архитектуры, ASIS; Проработаем обмены по ключевым сущностям; Спроектируем архитектуру TOBE; Подготовим roadmap перехода на новую архитектуру; Подготовим рекомендации; по инструментам; Подготовим документацию. Вы получите

План перехода с учетом особенностей бизнеса

2. Перевод самых актуальных для вас потоков

BPMN-cхемы процессов потоков; Разворачивание и настройка необходимых компонент (ETL, хранилище, логирование, мониторинг); Настройка коннекторов; Настройка сбора логов и мониторинга работы интеграции; Документирование и обучение. Вы получите