Open IT Experts for Enterprise
-1024x180.jpg "Innovando junto al Consorcio de Aguas Bilbao Bizkaia")
Reto tecnológico de la mano de Bizkaia Open Future Como sabéis, durante los últimos meses hemos estado investigando junto al Consorcio de Aguas Bilbao Bizkaia (CABB) en la innovación dentro del área de comunicación con dispositivos industriales a través de tecnologías libres. Esta colaboración se lanzó a través del reto propuesto por BOF (Bizkaia Open …
Innovando junto al Consorcio de Aguas Bilbao Bizkaia Leer más »
Como crear mapas personalizados usando zeppelin/spark y plotly Una de las cosas que se suelen hacer cuando se está haciendo un análisis avanzado de datos es representar los mismos, tanto desde el punto de vista de la fase exploratoria como desde el punto de vista del uso de los resultados de los modelos aplicados. Dentro …
Creando mapas personalizados para el análisis de datos Leer más »
Como procesar de manera óptima los ficheros con columnas de tamaño fijo usando expresiones Grok en NiFi Supongamos que tenemos un conjunto de ficheros que se han generado con un programa que exporta los datos de las columnas con un tamaño fijo. Por ejemplo un programa que exporta los siguientes cuatro campos FechaAlta (YYYYMMDD) 8 …
Procesando ficheros con columnas de tamaño fijo con NiFi Leer más »
Consumiendo mensajes en NiFi enviados por UDP y serializados en AVRO Siguiendo con las pruebas de concepto de desacople de procesos usando NiFi hay otro caso que es bastante interesante y que se puede implementar con NiFI. Imaginemos que tenemos un caso de uso en el que la garantía de entrega no es importante, en …
-1024x205.png "Recargar grupos en hadoop")
Como actualizar los grupos de una plataforma de hadoop integrada con sssd sin reiniciar servicios Para que los cambios en los grupos se vean reflejados, por ejemplo si hemos añadido un nuevo grupo al sistema operativo o al LDAP (si tenemos configurado el servicio SSSD), en el cluster de hadoop lo que hay que hacer …
-1024x335.png "Flink, en producción, bajo control")
Watchdog para Flink con reinicio automático y notificaciones por Slack y Email Uno de los problemas más comunes a la hora de poner en producción un proyecto basado en Flink, es el control del estado de los jobs que se están ejecutando. Flink monitoriza los jobs e inicia una política de reinicio configurable en caso …
Usando un cluster hadoop para levantar containers de docker. Una de las características más interesantes de la versión 3 de hadoop es la evolución que ha sufrido yarn La versión 1 de hadoop estaba orientada a Map&Reduce En la versión 2 se reescribió el motor de gestión de recursos de map&reduce y pasó a ser …
Usando expresiones Grok para el mapeo y Hive para su explotación posterior En esta ocasión vamos a hacer una prueba de cómo se pueden procesar de manera sencilla, para su posterior explotación con HIVE, los logs de un servidor apache usando Expresiones Grok Records de Nifi (Avro) Ficheros ORC El punto de partida es un …
.png "ZYLK Industry has been selected as one of the brightest “Big Data” startups in Europe")
ZYLK Industry has been selected to take part in the European Data Incubator (EDI), a 3-year project that offers around 100 startups the chance to solve data challenges set by major European corporates like Volkswagen Navarra, RACC motoring club and the multinational Sonae. What is EDI? EDI is an incubation programme run by 20 partners …
ZYLK Industry has been selected as one of the brightest “Big Data” startups in Europe Leer más »
ZYLK Industry ha sido seleccionada para participar en European Data Incubator (EDI), un proyecto de 3 años que ofrece a alrededor de 100 startups la oportunidad de resolver los desafíos de datos establecidos por las principales empresas europeas como Volkswagen Navarra, RACC Motoring Club y la multinacional Sonae. ¿Qué es EDI? EDI es un programa …
Captación y tratamiento de datos de un PLC de Siemens El presente post explica paso a paso la demo mostrada en el stand Zylk en el marco de BeDigital by BIEMH. Se trata de la monitorización del estado de dos levas cuyos datos provienen de un PLC Siemens simulado. Esta monitorización incluye el ciclo individual de …
Flujo del dato en una arquitectura de microservicios La arquitectura descrita en este artículo cubre las necesidades de un caso de uso de Big Data caracterizado por la ingesta de datos tanto en procesos en lotes (Batch) como en tiempo real (Streaming), orientado a la transformación y el enriquecimiento de los datos, y permitiendo su …
Arquitectura de Big Data para la ingesta y explotación del dato basada en Hortonworks Leer más »
-1024x190.jpg "Using Zeppelin for Alfresco Data Analysis")
Whole Lotta Apache Apache Zeppelin is an open web-based notebok that enables interactive data analytics, from data ingestion, data exploration, reporting and visualizations, until sharing or collaboration features. Interactive browser-based notebooks enable to be more productive by developing, organizing, executing, and sharing data code and visualizing results without referring to the command line. It supports …
Tips de configuración He estado haciendo este fin de semana unas pruebas de concepto para poder usar solrCloud, en su última versión, conjuntamente con el crawler nutch, también en su última versión. He encontrado muchos documentos explicando cómo configurar el sistema con solr normal pero no para usarlos con solrCloud. Voy a describir, someramente, un …
Cómo configurar Nutch 1.13 para que use SolrCloud 6.6.0 Leer más »
Empresas industriales, inversores profesionales y medios de comunicación podrán contactar con las startups participantes La primera edición de BIND 4.0 concluye el próximo 5 de mayo con un demo day en el que tanto empresas industriales como inversores y medios de comunicación podrán contactar con las 11 startups participantes. Durante esta jornada las startups participantes …
La primera edición de BIND 4.0 concluye con un Demo Day Leer más »
Aplicando KMeans en el análisis de datos Siguiendo estos dos artículos de internet, uno donde se explica como crear un modelo aplicando el algoritmo no supervisado de clusterización (KMeans) y el otro, donde se explica usar Apache Spark desde el notebook zeppelin, he creado un ejemplo que mezcla ambos. Para poder ejecutarlo en el laboratorio …
Formateando el valor de una columna al realizar un hbase get La notación de la shell de hbase es bastante poco amigable, por un lado porque la forma de escribir las sentencias es poco intuitiva, al principio, y por otro lado porque los valores son simpre arrays de bytes. Por tanto la salida de un …
Configurando el intérprete de zeppelin para hbase en hdp 2.4 Dentro de un proyecto de bigdata que estamos haciendo hemos usado como notebook del proyecto, zeppelin de apache. El ecosistema completo incluye ambari 2.2 y el HDP-2.4. La cuestión es que justo este intérprete parece que tiene un bug para esta versión y que no …
Curl examples for using Ambari REST API from command line Hi, I uploaded the curl command based shell scripts using the Ambari REST API in the last posts into a small project in github. Here the code and examples: https://github.com/zylklab/ambari-shell-tools
How to start, stop and check services via curl command Keeping on curl based commands from Ambari REST API, it is also possible start and stop services of your Big Data cluster, and not only to collect metrics from Ambari. For example, ambari-service.sh [start|stop|check] a given service: cesar@lemmy ~/local/ambari $ ./ambari-service.sh Usage: ambari-service.sh [ZOOKEEPER|HDFS|YARN|MAPREDUCE2|HBASE|HIVE|SPARK|KAFKA|FLINK|ZK-NIFI|ZEPPELIN] [start|stop|check] Available services: "AMBARI_METRICS" …
Custom nagios shell script with curl command to monitor Ambari Last day, wetried some curl commands to check Ambari metrics of our Big Datacluster. The next step for using these metrics collected in AmbariServer is to include them in a Nagios / Icinga server for gettingemail alerts and the usual monitoring stuff. A simple example may be something …
Monitoring an Ambari cluster via curl command During last days, I started to play with an Ambari cluster, based on the Hortonworks distribution. Ambari provides an agile interface for starting/stopping services in the cluster, modify configurations, and monitoring the different hosts and services of the cluster, providing alerts and metrics. Besides, Ambari provides a REST API for consuming …
Getting Ambari metrics via curl and Ambari REST API Leer más »
Aplicando una regresion lineal a un stream Siguiendo con el uso de ventanas en flink, vamos a modelar la generación de eventos para poder detectar que un stream concreto se está desviando de su funcionamiento normal. Por ejemplo vamos suponer que tenemos un stream que emite un evento cada vez que una persona añade un …
-1024x335.png "Flink procesado de streams i")
Procesado streams con ventanas personalizadas usando Flink En un proyecto, en el que estamos involucrados y en el que estamos usando flink para el procesado de streams, hemos tenido que investigar como desarrollar una ventana de procesado personalizada. En este caso una ventana muy sencilla que consiste en disparar los eventos bajo dos circuntancias Cuando …
Los próximos 22 y 23 de noviembre Bilbao se convertirá en el epicentro nacional del software libre y las tecnologías abiertas. La cita, que prevé reunir a más de 1.500 expertos y responsables de compañías, estará orientada a los nuevos retos de la Industria 4.0 y del sector Financiero. La VI edición del Congreso Nacional …