Hortonworks-Euskaltel

Big Data

Consumo de los clientes de Euskaltel analizado en tiempo real

Euskaltel - Proveedor de servicios de telecomunicaciones

Introducción

Es innegable que vivimos pegados a nuestro teléfono móvil y para los clientes de Euskaltel es vital poder disponer de acceso a Internet a la máxima velocidad disponible en todo momento, por lo que la consulta en tiempo real del consumo de datos desde el móvil cobra especial relevancia para ellos.

En colaboración con Euskaltel se desarrolló un caso de uso que permitiese mejorar la calidad de la información y la disponibilidad de la misma. El caso, aunque sencillo a nivel técnico, ha servido para conseguir maximizar el valor obtenido de la analítica Big Data en poco tiempo. Lo que se pretendía era:

Poder determinar el consumo de la red móvil en tiempo real de forma completamente desacoplada de los equipos productivos, garantizando un crecimiento escalable en el número de peticiones y conocer tanto el ancho banda de subida como el de bajada.

Liberar los equipos productivos de la tarea de analizar el consumo en tiempo real conlleva una mejora sustancial en la capacidad de procesar peticiones del hardware

Gustavo Fernández - Zylk CTO

Solución

Para ello se optó por la utilización de los siguientes componentes: Nifi, Kafka, Flink, Hbase, API.

Una vez procesada toda la información estos datos se exponen para su explotación por medio de un API-GATEWAY. Principalmente, lo que se hace es procesar ficheros de log usando un cluster de NIFI. Una vez procesados los datos, estos se envían a una cola de Kafka desde donde son consumidos por medio de unos Jobs de Flink. Estos Jobs, correlacionan los tipos distintos consumos y los almacenan en un conjunto de tablas de Hbase.

Este sistema permitió conseguir el objetivo. La explotación de los datos obtenidos son utilizados por parte de otros sistemas, que los invocan vía API REST, sin comprometer los servicios productivos. Tal como se ha comentado al inicio de este caso de éxito, lo que se buscaba era:

  • No comprometer los servicios productivos.
  • Crear un caso que aportara valor añadido de forma rápida y sencilla.
  • Permitir una mayor escalabilidad en las consultas de consumo de datos por parte de los clientes lo cual permite reducir el impacto del crecimiento de consultas derivado del crecimiento de clientes.