Решения

Внедряем Data lake, Data Warehouse

Проектирование Data Lake и DWH: единая экосистема для хранения, обработки и аналитики больших данных под задачи бизнеса

Обсудить проект

Наши клиенты

+10клиентов · Смотреть кейсы →

С помощью ESB подхода к обмену данными создаем общее хранилище предприятия для быстрого подключения аналитики и отчетов.
Таблицу сравнения типов интеграций Data Warehouse Data Warehouse - это комплекс структурированных данных всего предприятия.
Он состоит из хранилищ разных объектов (заказов, цен, товаров, др).
Структура данных определяется заранее.
Ведь бизнес знает, какие системы и, как используют их для целей настоящего.
Хранилища не зависят друг от друга и могут работать на разных серверах в разных локациях.
Так отказ любого из них, не повлечет проблем с остальным. Data Warehouse позволяет легко подключить любую систему аналитики.
Данные легко фильтровать по открытым полям и искать нужные объекты. Data Warehouse улучшает обмен данными между IT-системами: 1.
Ослабляет связанность изменений систем; 3.
Позволяет агрегировать и трансформировать данные, как угодно.
Подробнее об интеграциях мы рассказываем здесь.

Цель внедрения

Обмен данными и аналитика для целей настоящего дня

Тип данных

Структурированные данные, понятные любым потребителям

Порядок обработки

Обработка данных перед загрузкой в хранилище Data Lake
Разберем на простом примере системы управления заказами (OMS). Например, система OMS хранит историю данных по статусам всех заказов.
Эти данные важны для аналитики, но саму систему они только засоряют.
Такой объем исторических данных лучше вынести в общее хранилище, чтобы не перегружать систему.
Невозможно учесть всех форматов использования этих данных в будущем.
Сегодня нужен отчет по количеству времени, за которое заказ переходит из одного статуса в другой.
Через месяц потребуется использовать данные о заказах по-другому и в другом формате.
Чтобы хранить данные для использования их в будущем создается Data Lake - озеро данных предприятия. В такое хранилище данные попадают, как есть.
Когда станет понятно, для чего использовать эти данные и как, аналитики смогут приступить к обработке.

Цель внедрения

Хранение и обработка данных для использования в будущем

Тип данных

Структурированные и неструктурированные данные

Порядок обработки

Данные обрабатывает аналитик после загрузки
Отличие DL от DWH по цели внедрения
На практике граница между типами хранилищ условна.
Все зависит от качества реализации и дальнейшего использования.

Data Lake

Собрать максимум данных с целью обработки в будущем.

Data Warehouse

Собрать данные и сделать их пригодными для потребления сразу.
Создаем отказоустойчивые хранилища данных 1.
При нашем подходе в архитектуре нет единой точки отказа 2.
Компоненты хранилища не зависят друг от друга и могут работать на разных серверах в разных локациях 3.
Мы создаем дубли хранилищ на нескольких серверах.
Если один сервер откажет, поток данных будет перенаправлен на другой сервер 4.
Вы можете использовать, как облачные сервера, так и on-premise

Нам доверяют

1 / 22

Интеграция Talend ESB в IT-инфраструктуру логистической компании

Подробнее

Переработали IT-архитектуру и составили дорожную карту её трансформации

Подробнее

KT.Team ГК ФСК

Вадим Миженский Руководитель управления разработки цифровых продуктов

KT.Team Maxxium

Мы сотрудничаем с kt.team больше года и за это время прошли длинный путь — от быстрого запуска небольшого сайта до ознакомительного каталога и нескольких интеграций. Команда оперативно реагировала на наши запросы и дополнения к ТЗ, вместе мы протестировали несколько гипотез и выбрали самые рабочие. Наш проект нельзя назвать высоконагруженным, у нас, в отличие от других проектов, с которыми работает kt.team, необъёмный каталог.

Но нам нужно ориентироваться на специфическую аудиторию с высокими запросами, мы ограничены законодательством и особенностями нашей сферы. Всё это не помешало сообща создать проект с современным дизайном и функционалом, удобным как для пользователей, так и для сотрудников Maxxium Андрей Иванов руководитель департамента цифровой трансформации

KT.Team La Nature

Нашему интернет-магазину была крайне необходима реновация и «новое дыхание». Мы отдали предпочтение kt.team в конкурсе на одной из тендерных площадок. Вы подкупили своей прогрессивностью и, главное, смелостью в использовании самых передовых стеков веб-разработки. Отдельно хочется отметить профессионализм команды дизайнеров — без лишних вопросов и обсуждений сразу уловили наше настроение и видение результата. Итог — очень тонкий, лаконичный и красивый дизайн! Молодцы, ребята, так держать! Денис Федюнин CIO

KT.Team St Gobain

Вы профессионалы. При первой встрече я рассказал об идее проекта, а вы помогли доработать и трансформировать ее во что-то особое. Владимир Беляев руководитель отдела развития продаж

KT.Team Твое

Для запуска проекта в срок ребята буквально «жили» в нашем офисе. Запустили проект в срок. Держите марку, молодцы! Максим Сакиб операционный директор

KT.Team SQ 2

До КТ был другой подрядчик — крупный известный интегратор, и каждое изменение было дорогим и болезненным. Думали вообще отказываться от Magento! kt.team взяли на себя огромный объем работы. Отличная команда! Сергей Горбунов директор по продажам сети

KT.Team SQ 1

По итогам нескольких лет совместной, плодотворной работы хочу выразить благодарность коллегам из KT.Team. Вместе мы прошли большой путь, решили тысячи задач, пережили уже 3 «черные пятницы», разработали и успешно запустили несколько крупных проектов с оценкой более 2000 человеко-часов. Совместной работой довольны и я, и руководство компании. Верю в дальнейшее плодотворное сотрудничество. Желаю процветания KT.Team и профессионального роста всем ребятам из KT.Team Роман Радович руководитель интернет-проектов

KT.Team Norgau

ООО «Норгау Руссланд», разработка первого в стране В2В на Magento 2. Выполнен большой объем технических и дизайн работ. Качество на высоком уровне! Дубовский Алексей директор по ИТ

KT.Team Музторг

Группа компаний Музторг успешно сотрудничает с командой KT.Team уже более двух лет. При работе над проектами нам очень помогает высокий профессионализм наших партнеров, умение сочетать четкую организацию проектной работы с минимизацией формальных ограничений. Отдельно хотел бы отметить доброжелательность и открытость сотрудников KT.Team. Выражаю благодарность за плодотворное сотрудничество. Дмитрий Савельев Советник Правления по цифровому развитию

Рабочая тетрадь Саблуков

Илья Саблуков Проектный менеджер

Рабочая тетрадь Серветников

Сергей Серветников IT-архитектор

KT.Team Brandly

От лица Inventive Retail Group выражаю огромную благодарность команде KT.Team за плодотворное сотрудничество в рамках реализации нового амбициозного проекта. Хотели бы отметить высокую вовлеченность на всех этапах его реализации, профессионализм и личные качества всех задействованных в проекте сотрудников. Мистулов Андрей Борисович Директор по веб-разработке и проектному управлению

KT.Team Трансатлантик

KT.Team реализовала для TRANSATLANTIC INTERNATIONAL проект по внедрению PIM-системы. Несмотря на то, что проект был коротким, проектный менеджер регулярно организовывал отчётные встречи по статусу внедрения, показывал прогресс и делился планами на ближайший спринт. Продвижение по проекту было прозрачным и понятным для нашей команды, у нас была возможность скорректировать план. Запросы от проектного менеджера позволили адаптировать PIM-систему под наши запросы. Максим Сергеев E-Commerce Product Value Manager

KT.Team FML

We came to KT.Team with a request to set up a platform to easily connect clients, carriers and WMS in FM Logistic France. The result was successively achieved. The work on project went well, and by now we have onboarded on a new platform a big client — it’s great result! I’d like to especially note very good reactivity and professionalism of the project managers, devs and ops who always help us. We look forward to working with your team on our new projects!

Eric Duboille Directeur Expertise E-Commerce, FM France SAS

Рабочая тетрадь Шилов

Классно выглядит, притягивает взгляды. Знающие люди интересуются, возникают диалоги, которые итогом приводят к обсуждению поставленных задач их их решению. Удобно делать пометки, отслеживать мысли. Интересные, полезные цитаты позволяют отвлечься и иногда снизить уровень серьезности. Максим Шилов Руководитель группы IT-специалистов

Помогли снизить нагрузку и масштабировать пропускную способность систем

"По некоторым системам нагрузку, которая выросла за текущий год, мы физически не смогли бы переварить, оставаясь на прежних технологиях. Мы достигли эффекта по существенному и критичному для нас параметру: нам удалось масштабировать пропускную способность без масштабирования источников и приемников." Курилюк Андрей Заместитель ИТ Директора

Внедрили масштабируемую сервисную шину для Атимо

Подробнее

Обеспечили Polaris возможность легко выводить новые товары на маркетплейсы

Подробнее

Для сети Fix Price автоматизировали работу с данными о товарах

Подробнее

Разработали целевую схему интеграции систем. Внедрили технологию ESB и запустили 48 потоков

Подробнее Подберем проверенные международные продукты с открытым кодом Мы используем Opensource решения, поэтому наши клиенты сокращают расходы на оплату лицензий без риска ограничений со стороны законодательства разных стран. Графическая студия для создания коннекторов Простая и гибкая low-code платформа, входящая в состав компании Salesforce с выручкой более 30 млн $ в год. Мы используем версию Community Edition.

Контроль версий и настройка прав доступа (ролей) Веб-инструмент жизненного цикла DevOps с открытым исходным кодом. Более 30 млн зарегистрированных пользователей. База данных (хранилище) Мощная объектно-реляционная система баз данных с открытым исходным кодом, активная разработка которой ведется более 35 лет. Хранение, анализ, поиск по логам Решения для корпоративной безопасности, наблюдения и поиска, построенные на платформе Elasticsearch, используемой тысячами компаний.

Дашборды с информацией о состоянии потоков Система визуализации и анализа информации, которая позволяет «из коробки» работать с широким спектром источников данных. 1 2 2 /

Если у вас есть предпочтения, можем использовать и другие продукты. В том числе с платной лицензией

BI (система аналитики) Yandex Datalens Redash Google Data Studio Microsoft Power BI Брокер сообщений Kafka rabbitmq ActiveMQ ETL (extract, transform, load) WSO2 Datareon Talend MuleSoft Nifi База данных Arenadata postresql MongoDB Hadoop

Типовая схема работы

Мы выстроили процесс внедрения так, чтобы вы получили максимум пользы. Вы можете пройти с нами весь путь. Или заказать любой из шагов отдельно, а остальное передать своей команде.

1. Проектирование слабо связанной архитектуры

Проведем анализ действующей IT-архитектуры, ASIS; Проработаем обмены по ключевым сущностям; Спроектируем архитектуру TOBE; Подготовим roadmap перехода на новую архитектуру; Подготовим рекомендации; по инструментам; Подготовим документацию. Вы получите

План перехода с учетом особенностей бизнеса

2. Перевод самых актуальных для вас потоков

BPMN-cхемы процессов потоков; Разворачивание и настройка необходимых компонент (ETL, хранилище, логирование, мониторинг); Настройка коннекторов; Настройка сбора логов и мониторинга работы интеграции; Документирование и обучение. Вы получите