- Выбрать лучшую платформу среди большого количества вариантов
- Найти лучший путь к получению уникальной аналитической информации, будущему росту и максимальной эффективности
EPAM & Telefónica: Обработка данных в 10 раз быстрее
Проект
TelefÓnica Germany является дочерней компанией TelefÓnica S.A., одной из крупнейших телекоммуникационных групп со штаб-квартирой в Мадриде, отделениями в 21 стране мира и более чем 300 миллионами клиентов. Сделать услуги для частных и корпоративных клиентов более персонализированными и повысить отдачу от использования платформы Oracle Enterprise Data Warehouse – по этим причинам в TelefÓnica приняли решение о внедрении Big Data-платформы с возможностями для кластеризации данных на Hadoop.
На повестке дня появилась задача – выбрать лучшее решение Big Data среди большого количества вариантов, доступных на рынке, и тем самым найти лучший путь к получению уникальной аналитической информации, будущему росту и максимальной эффективности.
Задачи проекта
Особенности проекта
Для решения поставленной заказчиком задачи специалисты из лаборатории продвинутых технологий EPAM сформировали три наиболее востребованных сценария использования Больших Данных. По ним в инфраструктуре лаборатории были протестированы различные платформы в разных конфигурациях. Процесс занял три месяца, и в результате сравнительного анализа производительности и эффективности решений была выбрана платформа-победитель.
- Тестирование сценариев использования на трех технологических платформах: Plain Java MapReduce, Apache Hive, Apache Spark
- Выбранное решение - Hive без использования Oozie
- Полный доступ к данным на Hadoop из Oracle
- Загрузка данных в Oracle:
- Sqoop
- Oracle Loader для Hadoop (OLH)
- Интерфейс JDBC
- Интерфейс прямого доступа OCI
- Методология управления кластерами: управление пользователями и ресурсами
Результаты
Работая в тесном контакте с TelefÓnica, команда EPAM продемонстрировала, как функционируют несколько установленных решений, из числа которых в конечном итоге было определено наиболее эффективное. Решение работало в собственной облачной среде разработки EPAM на замаскированных данных заказчика. После стадии проектирования созданное решение было установлено и детально протестировано уже в инфраструктуре TelefÓnica BIC.
Проведение сравнительного анализа платформ и выявление лучшего решения именно с точки зрения приоритетных для заказчика критериев привели к тому, что внедренная платформа смогла обеспечить нужный результат – скорость обработки больших массивов неструктурированных данных выросла в 10 раз по сравнению с использованием предыдущих систем. Кроме того, усилиями команды были разработаны рекомендации по внедрению BI, что позволит TelefÓnica двигаться вперед и использовать масштабируемую технологическую основу для построения в дальнейшем решений Business Intelligence, включая внедрения новых инструментов и технологий Big Data.
Технологии
- Hadoop 2.0.6
- Apache Hive, Apache Spark
- Oracle DB 11g, Oracle Loader for Hadoop
- Java, HiveQL, Scala
- Среда разработки: EPAM Cloud
-
Аналитический отчетEPAM - в квадранте Gartner по тестированию приложений
-
БрошюраПовышение скорости трансформации автоиндустрии
-
ПроектТрансформация сайта NewEraCap.com
-
Проект
Разработка аналитического приложения
-
ПроектСоздание внутреннего облака
EPAM разработала собственное гибридное облачное решение, полностью интегрированное с внутренними системами.
ЧЕМ МЫ МОЖЕМ ВАМ ПОМОЧЬ?
-
СТАТЬ КЛИЕНТОМ
+7-495-730-63-62
-
МЕДИА
+7-495-730-63-62
-
КАРЬЕРА
+7-495-730-63-62
-
ИНВЕСТОРЫ
+7-495-730-63-62
-
ОРГАНЫ ВЛАСТИ
+7-495-730-63-62
-
СОТРУДНИЧЕСТВО
+7-495-730-63-62
