Skip navigation EPAM

EPAM & Telefónica: Обработка данных в 10 раз быстрее

Скачать

TelefÓnica Germany является дочерней компанией TelefÓnica S.A., одной из крупнейших телекоммуникационных групп со штаб-квартирой в Мадриде, отделениями в 21 стране мира и более чем 300 миллионами клиентов. Сделать услуги для частных и корпоративных клиентов более персонализированными и повысить отдачу от использования платформы Oracle Enterprise Data Warehouse – по этим причинам в TelefÓnica приняли решение о внедрении Big Data-платформы с возможностями для кластеризации данных на Hadoop.

На повестке дня появилась задача – выбрать лучшее решение Big Data среди большого количества вариантов, доступных на рынке, и тем самым найти лучший путь к получению уникальной аналитической информации, будущему росту и максимальной эффективности.

Скачать

Задачи проекта

  • Выбрать лучшую платформу среди большого количества вариантов
  • Найти лучший путь к получению уникальной аналитической информации, будущему росту и максимальной эффективности

Особенности проекта

Для решения поставленной заказчиком задачи специалисты из лаборатории продвинутых технологий EPAM сформировали три наиболее востребованных сценария использования Больших Данных. По ним в инфраструктуре лаборатории были протестированы различные платформы в разных конфигурациях. Процесс занял три месяца, и в результате сравнительного анализа производительности и эффективности решений была выбрана платформа-победитель.

  • Тестирование сценариев использования на трех технологических платформах: Plain Java MapReduce, Apache Hive, Apache Spark 
  • Выбранное решение - Hive без использования Oozie 
  • Полный доступ к данным на Hadoop из Oracle
  • Загрузка данных в Oracle: 
    • Sqoop
    • Oracle Loader для Hadoop (OLH)
  • Интерфейс JDBC
  • Интерфейс прямого доступа OCI
  • Методология управления кластерами: управление пользователями и ресурсами 

Результаты

Работая в тесном контакте с TelefÓnica, команда EPAM продемонстрировала, как функционируют несколько установленных решений, из числа которых в конечном итоге было определено наиболее эффективное. Решение работало в собственной облачной среде разработки EPAM на замаскированных данных заказчика. После стадии проектирования созданное решение было установлено и детально протестировано уже в инфраструктуре TelefÓnica BIC. 

Проведение сравнительного анализа платформ и выявление лучшего решения именно с точки зрения приоритетных для заказчика критериев привели к тому, что внедренная платформа смогла обеспечить нужный результат – скорость обработки больших массивов неструктурированных данных выросла в 10 раз по сравнению с использованием предыдущих систем. Кроме того, усилиями команды были разработаны рекомендации по внедрению BI, что позволит TelefÓnica двигаться вперед и использовать масштабируемую технологическую основу для построения в дальнейшем решений Business Intelligence, включая внедрения новых инструментов и технологий Big Data. 

Технологии

  • Hadoop 2.0.6
  • Apache Hive, Apache Spark
  • Oracle DB 11g, Oracle Loader for Hadoop
  • Java, HiveQL, Scala
  • Среда разработки: EPAM Cloud

ЧЕМ МЫ МОЖЕМ ВАМ ПОМОЧЬ?

Наши офисы

Армения Армения
Беларусь Беларусь
Казахстан Казахстан
Россия Россия
Узбекистан Узбекистан
Австрия Австрия
Болгария Болгария
Великобритания Великобритания
Венгрия Венгрия
Германия Германия
Ирландия Ирландия
Испания Испания
Италия Италия
Мальта Мальта
Нидерланды Нидерланды
Польша Польша
Румыния Румыния
Украина Украина
Франция Франция
Чехия Чехия
Швейцария Швейцария
Швеция Швеция
Канада Канада
Мексика Мексика
США США
Австралия Австралия
Вьетнам Вьетнам
Гонконг, САР Гонконг, САР
Индия Индия
Китай Китай
ОАЭ ОАЭ
Сингапур Сингапур
Япония Япония