Skip navigation EPAM

EPAM & Telefónica: Обработка данных в 10 раз быстрее

Проект
  • Телекоммуникации и медиа

TelefÓnica Germany является дочерней компанией TelefÓnica S.A., одной из крупнейших телекоммуникационных групп со штаб-квартирой в Мадриде, отделениями в 21 стране мира и более чем 300 миллионами клиентов. Сделать услуги для частных и корпоративных клиентов более персонализированными и повысить отдачу от использования платформы Oracle Enterprise Data Warehouse – по этим причинам в TelefÓnica приняли решение о внедрении Big Data-платформы с возможностями для кластеризации данных на Hadoop.

На повестке дня появилась задача – выбрать лучшее решение Big Data среди большого количества вариантов, доступных на рынке, и тем самым найти лучший путь к получению уникальной аналитической информации, будущему росту и максимальной эффективности.

Задачи проекта

  • Выбрать лучшую платформу среди большого количества вариантов
  • Найти лучший путь к получению уникальной аналитической информации, будущему росту и максимальной эффективности

Особенности проекта

Для решения поставленной заказчиком задачи специалисты из лаборатории продвинутых технологий EPAM сформировали три наиболее востребованных сценария использования Больших Данных. По ним в инфраструктуре лаборатории были протестированы различные платформы в разных конфигурациях. Процесс занял три месяца, и в результате сравнительного анализа производительности и эффективности решений была выбрана платформа-победитель.

  • Тестирование сценариев использования на трех технологических платформах: Plain Java MapReduce, Apache Hive, Apache Spark 
  • Выбранное решение - Hive без использования Oozie 
  • Полный доступ к данным на Hadoop из Oracle
  • Загрузка данных в Oracle: 
    • Sqoop
    • Oracle Loader для Hadoop (OLH)
  • Интерфейс JDBC
  • Интерфейс прямого доступа OCI
  • Методология управления кластерами: управление пользователями и ресурсами 

Результаты

Работая в тесном контакте с TelefÓnica, команда EPAM продемонстрировала, как функционируют несколько установленных решений, из числа которых в конечном итоге было определено наиболее эффективное. Решение работало в собственной облачной среде разработки EPAM на замаскированных данных заказчика. После стадии проектирования созданное решение было установлено и детально протестировано уже в инфраструктуре TelefÓnica BIC. 

Проведение сравнительного анализа платформ и выявление лучшего решения именно с точки зрения приоритетных для заказчика критериев привели к тому, что внедренная платформа смогла обеспечить нужный результат – скорость обработки больших массивов неструктурированных данных выросла в 10 раз по сравнению с использованием предыдущих систем. Кроме того, усилиями команды были разработаны рекомендации по внедрению BI, что позволит TelefÓnica двигаться вперед и использовать масштабируемую технологическую основу для построения в дальнейшем решений Business Intelligence, включая внедрения новых инструментов и технологий Big Data. 

Технологии

  • Hadoop 2.0.6
  • Apache Hive, Apache Spark
  • Oracle DB 11g, Oracle Loader for Hadoop
  • Java, HiveQL, Scala
  • Среда разработки: EPAM Cloud

ЧЕМ МЫ МОЖЕМ ВАМ ПОМОЧЬ?


Наши офисы