Мировой опыт по внедрению Talend

Otto Group — немецкий интернет-магазин, крупнейший в Европе в сегменте посылочной торговли с более чем 2,8 млн позиций товаров и 6800 брендами одежды для всей семьи. Ежегодно обрабатывает около 7 млн онлайн-заказов и до десяти новых заказов в секунду в пиковые дни.

Существующая IT-архитектура интернет-магазина состояла из базы данных Teradata и большого количества островов данных. Сложность архитектуры также заключалась в том, что некоторые острова данных использовали SQL, а другие — PL/SQL, Oracle и Perl-скрипты. Так, чтобы определить, какое рекламное предложение будет наиболее подходящим для клиентов, компании приходилось преобразовывать огромные массивы данных, а информационная система нуждалась в едином инструменте интеграции.
Кроме того, проект имел множество интеграционных скриптов, которые было очень сложно поддерживать, т. к. разработчиков, изначально писавших код, уже не было в штате.

Компания Otto решила создать новое озеро данных с нуля и использовать Talend как мост между новым озером данных, в котором хранятся данные интернет-магазина и партнёрских веб-сайтов, и базой данных Exasol объёмом 250 Тбайт.Также ПО Talend дало возможность использовать в разработке собственный CI/CD-процесс. Применение Talend позволило непрерывно интегрировать источники данных, разрабатывать и поставлять новые обновления и приложения, создавать тестовые среды для запуска нового ПО. Всё это способствовало повышению скорости разработки и скорости исправления проблем на проекте и в целом помогло снизить риски, связанные с новой разработкой и интеграциями.Так, если в систему приходит запрос от клиента на удаление своих данных из системы Otto, это уже не занимает много времени, поскольку больше нет необходимости в длительных поисках по всем базам данных. Благодаря Talend стал возможным быстрый обмен данными с их источниками, что упростило процесс удаления данных из Exasol и озера данных Cloudera.

Bayer AG — немецкая химико-фармацевтическая транснациональная корпорация с более чем 150-летней историей и ключевой компетенцией в области здравоохранения в мире.

Bayer постоянно проводит исследование и тестирование новых лекарств с целью выявления их эффективности и безопасности для дальнейшего вывода на рынок. Этот процесс требует накопления, анализа и хранения огромного объёма клинических данных, поступающих от пациентов и добровольцев. Данные также собираются из лабораторий и электронных устройств. Вся информация автоматически анонимизируется в точке сбора.
Прежняя информационная система устарела и не справлялась с нагрузкой и постоянно растущим потоком данных, к тому же некоторые процессы не были автоматизированы, операции обрабатывались вручную, что зачастую приводило к возникновению ошибок, вызванных человеческим фактором.

Вместо поддержки старой системы компания Bayer приняла решение полностью изменить среду и архитектуру инфраструктуры. Bayer провела «хакатон», во время которого тщательно протестировала Talend и пришла к выводу, что он лучше всего подходит для непрерывного совершенствования системы, учитывая его принципы гибкости и возможность поддержки микросервисной архитектуры.
Шина Talend ESB стала выступать промежуточным ПО, которое соединяет репозитории и при этом скрыто от глаз пользователей. Данные поступают в локальное озеро данных Oracle, для проведения расширенной аналитики компания подключается к системе SAS и использует Oracle Life Sciences Data Hub для хранения данных о клинических исследованиях лекарств и препаратов.
Сервисная шина Talend ESB позволила быстро и в соответствии с требованиями добавлять новые функции, сделать получаемые данные более качественными и повысить скорость их обработки. Также преимуществом Talend для компании стала возможность отслеживать всё, что происходит с данными, включая то, откуда они поступают и куда направляются.