Skip navigation

EPAM & Telefónica: Обработка данных в 10 раз быстрее

Проект
  • Телекоммуникации и медиа

TelefÓnica Germany является дочерней компанией TelefÓnica S.A., одной из крупнейших телекоммуникационных групп со штаб-квартирой в Мадриде, отделениями в 21 стране мира и более чем 300 миллионами клиентов. Сделать услуги для частных и корпоративных клиентов более персонализированными и повысить отдачу от использования платформы Oracle Enterprise Data Warehouse – по этим причинам в TelefÓnica приняли решение о внедрении Big Data-платформы с возможностями для кластеризации данных на Hadoop.

На повестке дня появилась задача – выбрать лучшее решение Big Data среди большого количества вариантов, доступных на рынке, и тем самым найти лучший путь к получению уникальной аналитической информации, будущему росту и максимальной эффективности.

Задачи проекта

  • Выбрать лучшую платформу среди большого количества вариантов
  • Найти лучший путь к получению уникальной аналитической информации, будущему росту и максимальной эффективности

Особенности проекта

Для решения поставленной заказчиком задачи специалисты из лаборатории продвинутых технологий EPAM сформировали три наиболее востребованных сценария использования Больших Данных. По ним в инфраструктуре лаборатории были протестированы различные платформы в разных конфигурациях. Процесс занял три месяца, и в результате сравнительного анализа производительности и эффективности решений была выбрана платформа-победитель.

  • Тестирование сценариев использования на трех технологических платформах: Plain Java MapReduce, Apache Hive, Apache Spark 
  • Выбранное решение - Hive без использования Oozie 
  • Полный доступ к данным на Hadoop из Oracle
  • Загрузка данных в Oracle: 
    • Sqoop
    • Oracle Loader для Hadoop (OLH)
  • Интерфейс JDBC
  • Интерфейс прямого доступа OCI
  • Методология управления кластерами: управление пользователями и ресурсами 

Результаты

Работая в тесном контакте с TelefÓnica, команда EPAM продемонстрировала, как функционируют несколько установленных решений, из числа которых в конечном итоге было определено наиболее эффективное. Решение работало в собственной облачной среде разработки EPAM на замаскированных данных заказчика. После стадии проектирования созданное решение было установлено и детально протестировано уже в инфраструктуре TelefÓnica BIC. 

Проведение сравнительного анализа платформ и выявление лучшего решения именно с точки зрения приоритетных для заказчика критериев привели к тому, что внедренная платформа смогла обеспечить нужный результат – скорость обработки больших массивов неструктурированных данных выросла в 10 раз по сравнению с использованием предыдущих систем. Кроме того, усилиями команды были разработаны рекомендации по внедрению BI, что позволит TelefÓnica двигаться вперед и использовать масштабируемую технологическую основу для построения в дальнейшем решений Business Intelligence, включая внедрения новых инструментов и технологий Big Data. 

Технологии

  • Hadoop 2.0.6
  • Apache Hive, Apache Spark
  • Oracle DB 11g, Oracle Loader for Hadoop
  • Java, HiveQL, Scala
  • Среда разработки: EPAM Cloud

ЧЕМ МЫ МОЖЕМ ВАМ ПОМОЧЬ?


Наши офисы

  • Канада

    • Оттава

      343 Preston Street,
      ON K1S 1N4, Ottawa
      Canada

      Карта
    • Торонто

      5 Park Home Avenue,
      Suite 400,
      ON M2N 6L4, North York,
      Toronto
      Canada

      Карта
      Тел: +1-416-591-4004
      Факс: +1-416-595-1551
  • Мексика

  • США

    • Ньютаун

      41 University Drive,
      Suite 202,
      Newtown, PA 18940
      USA

      Карта
      Тел: +1-267-759-9000
      Факс: +1-267-759-8989
    • Белвью

      110 110th Ave. NE,
      Suite 310
      Bellevue, WA 98004
      USA

      Карта
    • Бостон

      21 Drydock Avenue,
      Suite 410 W,
      Boston, MA 02210
      USA

      Карта
    • Вашингтон

      7901 Jones Branch Drive,
      Suite 400,
      McLean, VA 22102
      USA

      Карта
    • Коншохокен

      101 East 8th Ave,
      Suite 201,
      Conshohocken, PA 19428
      USA

      Карта
      Тел: +1-484-382-1300
    • Лос-Анджелес

      11601 Wilshire Blvd,
      Suite 350,
      Los Angeles, CA 90025
      USA

      Карта
    • Нью-Йорк

      24 West 25th Street,
      5th Floor,
      New York, NY 10010
      USA

      Карта
      Тел: +1-267-759-9000
      Факс: +1-267-759-8989
    • Сан-Франциско

      222 Kearny Street,
      Suite 308,
      San Francisco, CA 94108
      USA

      Карта
    • Сан-Хосе

      2055 Gateway Place,
      Suite 510,
      San Jose, CA 95110
      USA

      Карта
    • Филадельфия

      30 South 15th Street,
      9th Floor,
      Philadelphia, PA 19102
      USA

      Карта
  • Австралия

  • Гонконг

  • Индия

    • Бангалор

      Smartworks,  
      Global Technology Park,
      Block C, Outer Ring Rd,
      Adarsh Palm Retreat, Bellandur,
      Bengaluru, Karnataka 560103
      India

      Карта
    • Пуна

      SmartWork Business Center Pvt Ltd,
      Suite 8, Level 1,
      West Wing, Nyati Unitree,
      Samrat Ashok Road,
      Yerwada, Pune - 411006,
      Maharashtra
      India

      Карта
    • Хайдарабад

      10, 11 & 12th Floors,
      Salarpuria Sattva Knowledge City,
      Plot No. 2, Phase - 1,
      Survey No. 83/1,
      Raidurgam Village,
      Serilingampally Mandal,
      Hyderabad, Telangana - 500081
      India

      Карта
      Тел: +91-40-47979900
  • Китай

    • Гуанчжоу

      Unit B01, 23/F,
      Yuexiuxinduhui Building,
      No. 236, 6th Zhongshan Road,
      Yuexiu District, Guangzhou,
      China 510180

      Карта
    • Сучжоу

      Building 12, Creative Industrial Park,
      328 Xinghu Street,
      Suzhou Industrial Park,
      Suzhou, China 215123

      Карта
    • Шанхай

      Room B509, 5th Floor,
      48 Weihai Road,
      Huangpu District, Shanghai,
      China 200000

      Карта
      Тел: +86-21-53080606
    • Шэньчжэнь

      3/F, Block 5, Vision Shenzhen Business Park,
      9th Gaoxin South Road, 
      Shenzhen Hi-tech Industrial Park,
      Nanshan District, Shenzhen,
      Guangdong, China 518057

      Карта
  • ОАЭ

    • Дубай

      EPAM Systems FZ-LLC
      Dubai Branch,
      Building 16, Office 241,
      Dubai Internet City,
      PO Box 501929, Dubai
      United Arab Emirates

      Карта
      Тел: +971-4-568-3569
  • Сингапур

  • Япония

    • Tokyo

      Floor 1-10-11
      Shibadaimon Centre Building 10th
      Shibadaimon Minato-ku
      Tokyo 105-0012
      Japan

      Карта
      Факс: +81-03-6880-9201