Получить консультацию
Arrow White

Внедряем Data lake,
Data Warehouse

С помощью ESB подхода к обмену данными создаем общее хранилище предприятия для быстрого подключения аналитики и отчетов.

Вы также получите

idea

Таблицу сравнения  
типов интеграций

Data Warehouse

Data Warehouse - это комплекс структурированных данных всего предприятия.
Он состоит из хранилищ разных объектов (заказов, цен,  товаров, др). Структура данных определяется заранее. Ведь бизнес знает, какие системы и, как используют их для целей настоящего.

Хранилища не зависят друг от друга и могут работать на разных серверах в разных локациях. Так отказ любого из них, не повлечет проблем с остальным.

Data Warehouse позволяет легко подключить любую систему аналитики.
Данные легко фильтровать по открытым полям и искать нужные объекты.

Data Warehouse улучшает обмен данными между IT-системами:
1. Снижает нагрузку на системы;
2. Ослабляет связанность изменений систем;
3. Позволяет агрегировать и трансформировать данные, как угодно.

Подробнее об интеграциях мы рассказываем здесь.

Цель внедрения

Обмен данными и аналитика
для целей настоящего дня

Тип данных

Структурированные данные,
понятные любым потребителям

Порядок обработки

Обработка данных перед загрузкой
в хранилище

Data Lake

Что такое Data Lake? Разберем на простом примере системы управления заказами (OMS).

Например, система OMS хранит историю данных по статусам всех заказов. Эти данные важны для аналитики, но саму систему они только засоряют. Такой объем исторических данных лучше вынести в общее хранилище, чтобы не перегружать систему.

Невозможно учесть всех форматов использования этих данных в будущем. Сегодня нужен отчет по количеству времени, за которое заказ переходит из одного статуса в другой. Через месяц потребуется использовать данные о заказах по-другому и в другом формате.

Чтобы хранить данные для использования их в будущем создается Data Lake - озеро данных предприятия. В такое хранилище данные попадают, как есть. Когда станет понятно, для чего использовать эти данные и как, аналитики смогут приступить к обработке.

Цель внедрения

Хранение и обработка данных
для использования в будущем

Тип данных

Структурированные

и неструктурированные данные

Порядок обработки

Данные обрабатывает аналитик
после загрузки

Отличие DL от DWH
по цели внедрения

На практике граница между типами хранилищ условна. Все зависит от качества реализации и дальнейшего использования.

Data Lake

Собрать максимум данных
с целью обработки в будущем.

Data Warehouse

Собрать данные и сделать их
пригодными для потребления сразу.

Создаем
отказоустойчивые
хранилища данных

1.

При нашем подходе в архитектуре нет единой точки отказа

2.

Компоненты хранилища не зависят друг от друга и могут работать на разных серверах в разных локациях

3.

Мы создаем дубли хранилищ на нескольких серверах. Если один сервер откажет, поток данных будет перенаправлен на другой сервер

4.

Вы можете использовать, как облачные сервера, так и on-premise

Нам доверяют

KT.Team Музторг

Подробнее
KT.Team Музторг
Группа компаний Музторг успешно сотрудничает с командой KT.Team уже более двух лет. При работе над проектами нам очень помогает высокий профессионализм наших партнеров, умение сочетать четкую организацию проектной работы с минимизацией формальных ограничений. Отдельно хотел бы отметить доброжелательность и открытость сотрудников KT.Team. Выражаю благодарность за плодотворное сотрудничество.
Дмитрий Савельев
Советник Правления по цифровому развитию
Подробнее

Рабочая тетрадь Саблуков

Подробнее
Рабочая тетрадь Саблуков
Илья Саблуков
Проектный менеджер
Подробнее

Рабочая тетрадь Серветников

Подробнее
Рабочая тетрадь Серветников
Сергей Серветников
IT-архитектор
Подробнее

KT.Team Brandly

Подробнее
KT.Team Brandly
От лица Inventive Retail Group выражаю огромную благодарность команде KT.Team за плодотворное сотрудничество в рамках реализации нового амбициозного проекта. Хотели бы отметить высокую вовлеченность на всех этапах его реализации, профессионализм и личные качества всех задействованных в проекте сотрудников.
Мистулов Андрей Борисович
Директор по веб-разработке и проектному управлению
Подробнее

KT.Team Трансатлантик

Подробнее
KT.Team Трансатлантик
KT.Team реализовала для TRANSATLANTIC INTERNATIONAL проект по внедрению PIM-системы. Несмотря на то, что проект был коротким, проектный менеджер регулярно организовывал отчётные встречи по статусу внедрения, показывал прогресс и делился планами на ближайший спринт. Продвижение по проекту было прозрачным и понятным для нашей команды, у нас была возможность скорректировать план. Запросы от проектного менеджера позволили адаптировать PIM-систему под наши запросы.
Максим Сергеев
E-Commerce Product Value Manager
Подробнее
KT.Team FML
We came to KT.Team with a request to set up a platform to easily connect clients, carriers and WMS in FM Logistic France. The result was successively achieved. The work on project went well, and by now we have onboarded on a new platform a big client — it’s great result! I’d like to especially note very good reactivity and professionalism of the project managers, devs and ops who always help us. We look forward to working with your team on our new projects!
Eric Duboille
Directeur Expertise E-Commerce, FM France SAS
Подробнее

Рабочая тетрадь Шилов

Подробнее
Рабочая тетрадь Шилов
Классно выглядит, притягивает взгляды. Знающие люди интересуются, возникают диалоги, которые итогом приводят к обсуждению поставленных задач их их решению. Удобно делать пометки, отслеживать мысли. Интересные, полезные цитаты позволяют отвлечься и иногда снизить уровень серьезности.
Максим Шилов
Руководитель группы IT-специалистов
Подробнее

Помогли снизить нагрузку и масштабировать пропускную способность систем

Подробнее
Помогли снизить нагрузку и масштабировать пропускную способность систем
"По некоторым системам нагрузку, которая выросла за текущий год, мы физически не смогли бы переварить, оставаясь на прежних технологиях. Мы достигли эффекта по существенному и критичному для нас параметру: нам удалось масштабировать пропускную способность без масштабирования источников и приемников."
Курилюк Андрей
Заместитель ИТ Директора
Подробнее

Внедрили масштабируемую сервисную шину для Атимо

Подробнее
Внедрили масштабируемую сервисную шину для Атимо
Подробнее

Обеспечили Polaris возможность легко выводить новые товары на маркетплейсы

Подробнее
Обеспечили Polaris возможность легко выводить новые товары на маркетплейсы
Подробнее

Для сети Fix Price автоматизировали работу с данными о товарах

Подробнее
Для сети Fix Price автоматизировали работу с данными о товарах
Подробнее

Разработали целевую схему интеграции систем. Внедрили технологию ESB и запустили 48 потоков

Подробнее
Разработали целевую схему интеграции систем. Внедрили технологию ESB и запустили 48 потоков
Подробнее

Интеграция Talend ESB в IT-инфраструктуру логистической компании

Подробнее
Интеграция Talend ESB в IT-инфраструктуру логистической компании
Подробнее

Переработали IT-архитектуру и составили дорожную карту её трансформации

Подробнее
Переработали IT-архитектуру и составили дорожную карту её трансформации
Подробнее
No items found.

Подберем проверенные международные продукты
с открытым кодом

Мы используем Opensource решения, поэтому наши клиенты сокращают расходы на оплату лицензий без риска ограничений со стороны законодательства разных стран.

Графическая студия
для создания коннекторов

Простая и гибкая low-code платформа, входящая в состав компании Salesforce с выручкой более 30 млн $ в год. Мы используем версию Community Edition.

Контроль версий и настройка
прав доступа (ролей)

Веб-инструмент жизненного цикла DevOps с открытым исходным кодом. Более 30 млн зарегистрированных пользователей.

База данных
(хранилище)

Мощная объектно-реляционная система баз данных с открытым исходным кодом, активная разработка которой ведется более 35 лет.

Хранение, анализ,
поиск по логам

Решения для корпоративной безопасности, наблюдения и поиска, построенные на платформе Elasticsearch, используемой тысячами компаний.

Дашборды с информацией
о состоянии потоков

Система визуализации и анализа информации, которая позволяет «из коробки» работать с широким спектром источников данных.

2
/

Если у вас есть предпочтения, можем использовать и другие продукты. В том числе с платной лицензией

BI (система аналитики)
Брокер сообщений
ETL (extract, transform, load)
База данных

Типовая схема работы

Мы выстроили процесс внедрения так, чтобы вы получили максимум пользы. Вы можете пройти с нами весь путь. Или заказать любой из шагов отдельно, а остальное передать своей команде.

1. Проектирование слабо связанной архитектуры

  • Проведем анализ действующей IT-архитектуры, ASIS;
  • Проработаем обмены по ключевым сущностям;
  • Спроектируем архитектуру TOBE;
  • Подготовим roadmap перехода на новую архитектуру;
  • Подготовим рекомендации; по инструментам;
  • Подготовим документацию.
Location Icon
Вы получите

План перехода с учетом
особенностей бизнеса

2. Перевод самых актуальных для вас потоков

  • BPMN-cхемы процессов потоков;
  • Разворачивание и настройка необходимых компонент
(ETL, хранилище, логирование, мониторинг);
  • Настройка коннекторов;
  • Настройка сбора логов и мониторинга работы интеграции;
  • Документирование и обучение.
Shield Icon
Вы получите

Решение 80% проблем обмена данными между системами

3. Перевод остальных потоков для наполнения хранилища данных

  • BPMN-cхемы процессов потоков;
  • Настройка коннекторов;
  • Настройка сбора логов и мониторинга работы интеграции;
  • Документирование и обучение.
Gear Icon
Вы получите

Eдиный механизм обмена всего предприятия и полноту данных для аналитики

YouTube

Рассказываем об интеграциях на YouTube-

Интеграция IT-инфраструктуры e-Commerce-проекта с маркетплейсами при помощи сервисной шины WSO2 ESB

Интеграция IT-инфраструктуры e-Commerce-проекта с маркетплейсами при помощи сервисной шины WSO2 ESB

Интеграция Talend ESB в IT-инфраструктуру логистической компании

Внедрение сервисной шины Talend ESB в IT-архитектуру проекта

Давайте обсудим ваш проект

С вами свяжутся персональные менеджеры

Что-то пошло не так! Пожалуйста, попробуйте еще раз.
Что-то пошло не так! Пожалуйста, попробуйте еще раз.

Мы используем файлы cookie, чтобы предоставить наилучшие возможности сайта

Ок
Заходите в наш бот за оперативной консультацией и полезной информацией