Actualidad

Last day, we tried some curl commands to check Ambari metrics of our Big Data cluster. The next step for using these metrics collected in Ambari Server is to include them in a Nagios / Icinga server for getting email alerts and the usual monitoring stuff. A simple example may be something like to obtain Ambari alerts summary (Note: this can be improved a lot, it is just a probe of concept). check_ambari_alerts_summary.sh #!/bin/bash SERVER=$1 PORT=$2 USERNAME=$3 PASSWORD=$4 CLUSTERNAME=$5......

During last days, I started to play with an Ambari cluster, based on the Hortonworks distribution. Ambari provides an agile interface for starting/stopping services in the cluster, modify configurations, and monitoring the different hosts and services of the cluster, providing alerts and metrics. Besides, Ambari provides a REST API for consuming the collected metrics and managing the cluster. This REST API is used in very interesting projects for monitoring a Big Data cluster (from the......

Siguiendo con el uso de ventanas en flink,  vamos a modelar la generación de eventos para poder detectar que un stream concreto se está desviando de su funcionamiento normal. Por ejemplo vamos suponer que tenemos un stream que emite un evento cada vez que una persona añade un artículo a un carrito de la compra en una página web, y queremos detectar posibles problemas en el proceso. Para ello podemos hacer lo siguiente: Consumir dicho stream desde flink Crear una ventana que nos sume el número......

En un proyecto, en el que estamos involucrados y en el que estamos usando flink para el procesado de streams, hemos tenido que investigar como desarrollar una ventana de procesado personalizada. En este caso una ventana muy sencilla que consiste en disparar los eventos bajo dos circuntancias Cuando han entrado un número de eventos concreto Cuando ha pasado un tiempo determinado En realidad es simplemente una ventan que conjuga las dos ventanas típicas que flink ofrece por defecto. Para hacer......

La cita, que prevé reunir a más de 1.500 expertos y responsables de compañías, estará orientada a los nuevos retos de la Industria 4.0 y del sector Financiero. La VI edición del Congreso Nacional pretende dar respuesta a través del software libre y las tecnologías abiertas a los nuevos retos de la Industria 4.0, previstos para el primer día, así como de la banca online (Open Finances), contenidos programados para la segunda jornada. LibreCon 2016, organizada por la Federación Nacional de......

El viernes 30 de septiembre ZYLK Advanced Analytics se presentó al reto Velatia (Grupo Ormazabal) enmarcado dentro del programa de Innovación Abierta de Bizkaia Open Future, impulsado por la diputación de Bizkaia y Telefónica. Zylk propone soluciones para la monitorización remota de máquinas aisladas así como elementos de seguridad IT para las mismas. Así mismo dispone de una herramienta de monitorización predictiva en tiempo real para los centros de datos de su organización. ZYLK Advanced......

Bind 4.0 is a public-private acceleration program that lasts 24 weeks and takes place in the Basque Country. It focuses on Industry 4.0 early-stage startups involved in big data, additive manufacturing, artificial vision, cloud computing, augmented reality, cybersecurity, cyberphysical systems and/or collaborative robotics. They offer “A contract with one of our top industry firm partners for the development of an Industry 4.0 project.” and that is what we wanted the most. We already work for......

Zylk Industry is here. Big Data and IoT together for our customers. your industry is full of data, are you aware of that? ZYLK Industry is a project that was born 2 years ago from the Big Data Team experience in Energy, Automotive, and Telecomunications industries. Our team is formed by professionals with extensive experience in Big Data, IoT, telecommunications, front-end interfaces and data analytics. ZYLK Industry has given a step foward and has developed a non-intrusive 360º data......

Siguiendo con la evolución de las arquitecturas orientadas a servicios ... ahí va un gráfico que completa la visión general explicada en anteriores post Los servicios son servicios modelados con avro/RP y pueden operar en tres modalidades POJOs Como servicio RPC en local Como servicio RPC en un cluster de yarn (escalado, tolerancia a fallos etc..)...

Siguiendo con los artículos relacionados con YARN, SLIDER y arquitecturas relacionadas con BigData mostramos a continuación una posible arquitectura basda en los siguientes tres elementos YARN SLIDER AVRO RPC Donde lo importante es que con este tipo de arquitectura podríamos disponer de servicios con las caraterísticas indicadas Resilence (http://hortonworks.com/blog/rm-yarn-resilience/) Elastic (https://slider.incubator.apache.org/) Horizontal Scaling (http://hortonworks.com/hadoop/slider/)......

Siguiendo con las pruebas y las arquitecturas relacionados con bigdata vamos a inspeccionar las capacidades de yarn para levantar procesos en un cluster HDP. Lo primero que habría que introducir es el producto yarn. De la página siguiente de hortonworks podemos obtener la siguiente definición YARN is the prerequisite for Enterprise Hadoop, providing resource management and a central platform to deliver consistent operations, security, and data governance tools across Hadoop clusters. YARN......

Siguiendo con los artículos anteriores relacionados con los nuevos paradigmas del desarrollo, hemos montado en el laboratorio donde hacemos las pruebas, en zylk.net, un sistema de monitorización para tener métricas de los siguientes productos Sistema operativo HDFS MAP&REDUCE (yarn) Hbase Kafka Todos estos productos ya los hemos ido describiendo en anteriores entradas del blog y ahora lo que hemos hecho es agrupar todas las metrircas que los mismos producen y almacenarlas usando el siguiente......

Siguiendo con el anterior post relacionado con Phoenix, he estado probando más características que hay que evaluar para ver hasta donde nos puede llevar Phoenix + Hbase+ Pentaho + Saiku. 1) Herramientas de bulk 2) Rendimeinto de las queries 3) Creación de índices secundarios 4) Análisis de los planes de ejecución de las queries En la imagen podemos ver los resultados de los juegos ... la verdad es que apunta maneras. La siguiente prueba consistirá en recoger los datos de un proyecto típico de......

Hace unos meses que el proyecto phoenix ha salido de la incubadora de apache. Por esta razón he decidido hacer unas pruebas de concepto para ver como se podría integrar los cubos R-OLAP basados en mondrian y consumidos desde la interfaz de saiku como componente de servidor de pentaho. ¿por qué puede ser interesante esto?. Mondrian es un proyecto que traduce queries MDX a SQL Phoenix es un proyecto que traduce queries SQL a queries de HBase Por tanto integrando phoenix en pentaho podríamos......

Siguiendo con los posts anteriores (I, II) relacionados con el laboratorio de hadoop 2, el primer post dejé un warning en el arranque de hdfs sin resolver. El warning está relacionado con el uso de librerías nativas del sistema operativo para los procesos de compresión y descompresión. Parece que estos procesos realizados por medio de código java son un 40% más lentos que si los realizan los comandos nativos del sistema operativo. Así que hemos montado el laboratiorio para que haga uso de......

Siguiendo con el post anterior, los servicios que al final hemos arrancado, y la forma de arrancarlos es la siguiente: Arrancar el filesystem distribuido, el yarn y el servidor de histórico de tares realizadas por yarn >>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-dfs.sh >>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-yarn.sh >>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./mr-jobhistory-daemon.sh start historyserver Arrancar el gateway de nfs >>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ sudo ./hdfs......

LLevamos ya un tiempo usando el llamado zoo de hadoop para hacer algunos proyectos relacionados con big-data. Hasta ahora siempre hemos usado la versión de hadoop 1.x porque era la versión con la que empezamos a hacer las pruebas de concepto. Pero como parece ya seguro que hadoop ha venido para quedarse no está de más hacer pruebas con las nuevas versiones. En concreto hemos montado un laboratorio de hadoop con última versión estable, que a día de hoy es la 2.5. La hemos montado para analizar......

Uno de los últimos proyectos en los que ha estado trabajando el equipo ha sido la segunda parte del proyecto relacionado con el intercambio de ficheros usando HADOOP comentado en el post Usando hadoop para intercambio masivo de ficheros en un contexto de big data. El equipo responsable del desarrollo ha sido el mismo que en el caso anterior. Por parte de EJIEOscar Guadilla en la definición de la arquitectura y gestión del proyecto, Carlos Gonzalez de Zarate y Roberto Tajada en la parte de......

El pasado día 6 de Junio asistimos a una jornada de introducción al Big Data en enpresadigitala donde Jorge Ubero nos introdujo en el paradigma de Big Data. Y es que tal y como dijo Eric Schmidt (CEO de Google) cada día producimos tanto contenido como produjo toda la humanidad desde hace 2000. Esto son aproximadamente unos 2.5 Exabytes de datos procesables cada día. Esto hace que el modelo de escalabilidad vertical, presente en la mayor parte de los proyectos, con sus arquitecturas de CPD......

Durante los últimos tres meses en zylk hemos estado desarrollando, conjuntamente con personal de EJIE (Oscar Guadilla en la definición de la arquitectura y gestión del proyecto, Carlos Gonzalez de Zarate y Roberto Tajada en la parte de platea integración y Juan Uralde en la parte de xlnets) , una aplicación horizontal para el intercambio temporal de ficheros. La problemática que se quería resolver era la siguiente: Disponer de un sistema para que las distintas aplicaciones, situadas en los......