Кейсы по внедрению Talend в enterprise-проекты: мировой опыт

‍

Модернизация банковской системы при помощи интеграции сервисной шины ESB (БАНКОВСКАЯ СФЕРА)

О компании

Landesbank — немецкий международный универсальный банк, предоставляет услуги по четырём направлениям: private banking (персональное банковское VIP-обслуживание), корпоративный банкинг, финансирование коммерческой недвижимости и выборочная деятельность на рынке капитала. Банк ежегодно обслуживает около двух млн розничных клиентов и около 69 тыс. корпоративных клиентов из более чем 200 филиалов в Берлине.

Проблема: устаревание IT-системы банка

Чтобы справиться с постоянно растущими объёмами данных по счетам, Landesbank решил модернизировать свою базовую банковскую систему. Однако внедрение новой системы требовало тщательной предварительной подготовки, и в случае неудачной попытки перехода существовал риск закрытия банка.

Landesbank является членом группы национальных сберегательных банков Германии, и его бизнес-процессы тесно связаны с центральным провайдером информационных технологий Finanz Informatik (сокр. FI), который использует современную банковскую систему — OSPlus. Сложность обновления системы заключалась ещё и в том, что для интеграции собственных банковских приложений с данными о клиентах, адресах, доходах и счетах Landesbank необходимо было создать новый интерфейс параллельно с развёртыванием OSPlus.

Также необходимо было принять во внимание, что поступающие данные приходят в разных форматах, и для их дальнейшей передачи специалистам из разных отделов, принимающих документы каждый в своём формате, нужно конвертировать эти данные в запрашиваемые форматы. Предыдущая интеграционная платформа, которой пользовался банк, не справлялась с обработкой большого потока данных, а переход на новую систему требовал нескольких этапов, что только увеличивало время.

Решение

Интеграция Talend ESB помогла оптимизировать процессы по передаче информации. Теперь при запуске бизнес-процесса в банковской системе OSPlus данные передаются в другие приложения через сервисную шину Talend ESB. Большинство интерфейсов запрограммированы на работу по событиям, и только некоторые из них «запланированы» заранее.

Для обеспечения прозрачности процессов внутри компании на базе Talend ESB был создан специальный портал TMF (сокр. от англ. Tools & Methods Framework), осуществляющий мониторинг работы по управлению ошибками.

Упрощение интеграций в инфраструктуре интернет-магазина при помощи ESB (E-COMMERCE)

О компании

Otto Group — немецкий интернет-магазин, крупнейший в Европе в сегменте посылочной торговли с более чем 2,8 млн позиций товаров и 6800 брендами одежды для всей семьи. Ежегодно обрабатывает около 7 млн онлайн-заказов и до десяти новых заказов в секунду в пиковые дни.

Проблема: запутанность IT-ландшафта проекта

Существующая IT-архитектура интернет-магазина состояла из базы данных Teradata и большого количества островов данных. Сложность архитектуры также заключалась в том, что некоторые острова данных использовали SQL, а другие — PL/SQL, Oracle и Perl-скрипты. Так, чтобы определить, какое рекламное предложение будет наиболее подходящим для клиентов, компании приходилось преобразовывать огромные массивы данных, а информационная система нуждалась в едином инструменте интеграции.

Кроме того, проект имел множество интеграционных скриптов, которые было очень сложно поддерживать,
т. к. разработчиков, изначально писавших код, уже не было в штате.

Решение

Компания Otto решила создать новое озеро данных с нуля и использовать Talend как мост между новым озером данных, в котором хранятся данные интернет-магазина и партнёрских веб-сайтов, и базой данных Exasol объёмом 250 Тбайт.

Также ПО Talend дало возможность использовать в разработке собственный CI/CD-процесс. Применение Talend позволило непрерывно интегрировать источники данных, разрабатывать и поставлять новые обновления и приложения, создавать тестовые среды для запуска нового ПО. Всё это способствовало повышению скорости разработки и скорости исправления проблем на проекте и в целом помогло снизить риски, связанные с новой разработкой и интеграциями.

Так, если в систему приходит запрос от клиента на удаление своих данных из системы Otto, это уже не занимает много времени, поскольку больше нет необходимости в длительных поисках по всем базам данных. Благодаря Talend стал возможным быстрый обмен данными с их источниками, что упростило процесс удаления данных из Exasol и озера данных Cloudera.

Автоматизация процессов, обработка и хранение всех данных в единой системе с помощью сервисной шины предприятия ESB (ФАРМАЦЕВТИЧЕСКАЯ ОТРАСЛЬ)

О компании

Bayer AG — немецкая химико-фармацевтическая транснациональная корпорация с более чем 150-летней историей и ключевой компетенцией в области здравоохранения в мире.

Проблема: устаревшая информационная система с ручной обработкой данных

Bayer постоянно проводит исследование и тестирование новых лекарств с целью выявления их эффективности и безопасности для дальнейшего вывода на рынок. Этот процесс требует накопления, анализа и хранения огромного объёма клинических данных, поступающих от пациентов и добровольцев. Данные также собираются из лабораторий и электронных устройств. Вся информация автоматически анонимизируется в точке сбора.

Прежняя информационная система устарела и не справлялась с нагрузкой и постоянно растущим потоком данных, к тому же некоторые процессы не были автоматизированы, операции обрабатывались вручную, что зачастую приводило к возникновению ошибок, вызванных человеческим фактором.

Решение

Вместо поддержки старой системы компания Bayer приняла решение полностью изменить среду и архитектуру инфраструктуры. Bayer провела «хакатон», во время которого тщательно протестировала Talend и пришла к выводу, что он лучше всего подходит для непрерывного совершенствования системы, учитывая его принципы гибкости и возможность поддержки микросервисной архитектуры.

Шина Talend ESB стала выступать промежуточным ПО, которое соединяет репозитории и при этом скрыто от глаз пользователей. Данные поступают в локальное озеро данных Oracle, для проведения расширенной аналитики компания подключается к системе SAS и использует Oracle Life Sciences Data Hub для хранения данных о клинических исследованиях лекарств и препаратов.

Сервисная шина Talend ESB позволила быстро и в соответствии с требованиями добавлять новые функции, сделать получаемые данные более качественными и повысить скорость их обработки. Также преимуществом Talend для компании стала возможность отслеживать всё, что происходит с данными, включая то, откуда они поступают и куда направляются.