Actualidad

Como sabéis, durante los últimos meses hemos estado investigando junto al Consorcio de Aguas Bilbao Bizkaia (CABB) en la innovación dentro del área de comunicación con dispositivos industriales a través de tecnologías libres. Esta colaboración se lanzó a través del reto propuesto por BOF (Bizkaia Open Future) de la mano de Telefónica y BEAZ. El reto, cuyo objetivo era el telecontrol de dispositivos de campo, perseguía la capacidad de gestionar desde una herramienta única las configuraciones......

Una de las cosas que se suelen hacer cuando se está haciendo un análisis avanzado de datos es representar los mismos, tanto desde el punto de vista de la fase exploratoria como desde el punto de vista del uso de los resultados de los modelos aplicados. Dentro de este contexto hay una librería/proyteco que es muy interesante y se se está usando bastante. Este proyecto es plotly, es un proyecto bastante más interesante que una mera librería gráfica, aunque en este caso lo vamos usar solo como......

Supongamos que tenemos un conjunto de ficheros que se han generado con un programa que exporta los datos de las columnas con un tamaño fijo. Por ejemplo un programa que exporta los siguientes cuatro campos FechaAlta (YYYYMMDD) 8 posiciones Estado Civil (0|1|2) 1 posición Edad (0-99) 2 posiciones Genero (0|1|2) 1 posición Cada registro será de la siguiente forma 202001030561 -> que representa un registro con fechas de alta 2020/01/03, estado civil 0, 56 años y genero 1 2020010309 1 -> que......

Siguiendo con las pruebas de concepto de desacople de procesos usando NiFi hay otro caso que es bastante interesante y que se puede implementar con NiFI. Imaginemos que tenemos un caso de uso en el que la garantía de entrega no es importante, en el que además no queremos saturar la red y en el que se requiere una frecuencia de muestro alta...en ese escenario lo normal es no optar por el uso de TCP y usar UDP para las comunicaciones. NiFI dispone de dos Listeners que podemos usar para......

Para que los cambios en los grupos se vean reflejados, por ejemplo si hemos añadido un nuevo grupo al sistema operativo o al LDAP (si tenemos configurado el servicio SSSD), en el cluster de hadoop lo que hay que hacer es, sobre el namenode ejecutar los siguientes comandos sss_cache -E kinit -kt /etc/security/keytabs/hdfs.headless.keytab hdfs hdfs dfsadmin -refreshUserToGroupsMapping hdfs groups gfg001 Con estos comandos lo que conseguimos es Limpiar la cache del servicio SSSD Iniciar un token......

Uno de los problemas más comunes a la hora de poner en producción un proyecto basado en Flink, es el control del estado de los jobs que se están ejecutando. Flink monitoriza los jobs e inicia una política de reinicio configurable en caso de que alguno de los jobs falle. Permite especificar políticas como la siguiente: "En caso de que un job falle, espera dos minutos, e intenta reiniciarlo. En caso de que falle de nuevo, vuelvelo a intentar un máximo de tres veces". Sin embargo, a veces esto......

Una de las características más interesantes de la versión 3 de hadoop es la evolución que ha sufrido yarn La versión 1 de hadoop estaba orientada a Map&Reduce En la versión 2 se reescribió el motor de gestión de recursos de map&reduce y pasó a ser un motor general de gestión de recursos y se llamó YARN (Yet Another Resaource Negociator) En la versión 3 se ha seguido potenciando YARN para que sea capaz de gestionar no solo la CPU y la memoria del cluster. También es ahora capaz de gestionar ......

En esta ocasión vamos a hacer una prueba de cómo se pueden procesar de manera sencilla, para su posterior explotación con HIVE, los logs de un servidor apache usando Expresiones Grok Records de Nifi (Avro) Ficheros ORC El punto de partida es un conjunto de ficheros con el access log de apache en tipo COMBINED. Lo que vamos a hacer es crear un flujo de NiFi con el que los vamos a transformar los logs en ficheros ORC. Una vez generados los dejaremos en una estructura de un filesystem remoto......

What is EDI? EDI is an incubation programme run by 20 partners across Europe. It gives the most innovative “Big Data” startups the opportunity to tackle real world challenges set by corporates across Europe, such as improving road safety in Barcelona or predicting fraudulent transactions in supermarkets. ZYLK Industry is taking part in EDI to solve the challenge set by Volkswagen Navarra: Predictive maintenance models for industrial robots in body shop. Our approach is to develop Industrial......

¿Qué es EDI? EDI es un programa de incubación dirigido por 20 socios en toda Europa. Brinda a las startups más innovadoras de "Big Data" la oportunidad de enfrentar los desafíos del mundo real establecidos por las corporaciones en toda Europa, como mejorar la seguridad vial en Barcelona o predecir transacciones fraudulentas en los supermercados. ZYLK Industry participa en EDI para resolver el desafío establecido por Volkswagen Navarra: modelos de mantenimiento predictivo para robots......

El presente post explica paso a paso la demo mostrada en el stand Zylk en el marco de BeDigital by BIEMH. Se trata de la monitorización del estado de dos levas cuyos datos provienen de un PLC Siemens simulado. Esta monitorización incluye el ciclo individual de cada leva, así como el ciclo compuesto. La arquitectura implementada se muestra en la siguiente imagen: La ingesta de los datos del PLC de Siemens se realiza a través de NiFi. Estos datos se formatean, procesan y persisten en una base......

La arquitectura descrita en este artículo cubre las necesidades de un caso de uso de Big Data caracterizado por la ingesta de datos tanto en procesos en lotes (Batch) como en tiempo real (Streaming), orientado a la transformación y el enriquecimiento de los datos, y permitiendo su explotación desde las perspectivas de negocio y descubrimiento de datos (Data Science). Para su implementación, se han utilizado tecnologías del ecosistema Hadoop, concretamente de los stacks HDP y HDF 2.5 de......

Apache Zeppelin is an open web-based notebok that enables interactive data analytics, from data ingestion, data exploration, reporting and visualizations, until sharing or collaboration features. Interactive browser-based notebooks enable to be more productive by developing, organizing, executing, and sharing data code and visualizing results without referring to the command line. It supports programming languages such as Python, Scala, Hive, SparkSQL, shell or markdown, via Zeppelin language......

He estado haciendo este fin de semana unas pruebas de concepto para poder usar solrCloud, en su última versión, conjuntamente con el crawler nutch, también en su última versión. He encontrado muchos documentos explicando cómo configurar el sistema con solr normal pero no para usarlos con solrCloud. Voy a describir, someramente, un conjuntode tips que he aprendido este fin de semana mientras he realizado la prueba de concepto. Lo primero que hay que tener instalado y configurado es Nutch 1.13,......

La primera edición de BIND 4.0 concluye el próximo 5 de mayo con un demo day en el que tanto empresas industriales como inversores y medios de comunicación podrán contactar con las 11 startups participantes. Durante esta jornada las startups participantes presentarán sus proyectos junto con las empresas industriales a las que han aportado talento y soluciones innovadoras para mejorar su actividad. En nuestro caso desde Zylk Industry Advanced Analytics os contaremos la propuesta de BigData......

Siguiendo estos dos artículos de internet, uno donde se explica como crear un modelo aplicando el algoritmo no supervisado de clusterización (KMeans) y el otro, donde se explica usar Apache Spark desde el notebook zeppelin, he creado un ejemplo que mezcla ambos. Para poder ejecutarlo en el laboratorio de de bigdata que tenemos montado. Lo que se ha hecho ha sido lo siguiente Cargar los datos de los bancos Seleccionar dos de sus características (edad, balance) y usarlas como features para el......

La notación de la shell de hbase es bastante poco amigable, por un lado porque la forma de escribir las sentencias es poco intuitiva, al principio, y por otro lado porque los valores son simpre arrays de bytes. Por tanto la salida de un comando suele leerse mal, sobre todo si lo que se ha almacenado no son los bytes de un string 100316046_2017_2_1 column=23:1485991943_latitud, timestamp=1486109715526, value=@Ea\x04;nS\x85 100316046_2017_2_1 column=23:1485991943_longitud,......

Dentro de un proyecto de bigdata que estamos haciendo hemos usado como notebook del proyecto, zeppelin de apache. El ecosistema completo incluye ambari 2.2 y el HDP-2.4. La cuestión es que justo este intérprete parece que tiene un bug para esta versión y que no funciona correctamente. Para hacelo funcionar hemos tenido que modificar dos cosas Cambiar las librerías de hbase que incluye el interprete por las de la versión de HDP-2.4 Añadir la siguiente variable de entorno al scritp de arranque......

Hi, I uploaded the curl command based shell scripts using the Ambari REST API in the last posts into a small project in github. Here the code and examples: https://github.com/zylklab/ambari-shell-tools  ...

Keeping on curl based commands from Ambari REST API, it is also possible start and stop services of your Big Data cluster, and not only to collect metrics from Ambari. For example,  ambari-service.sh [start|stop|check] a given service: cesar@lemmy ~/local/ambari $ ./ambari-service.sh Usage: ambari-service.sh [ZOOKEEPER|HDFS|YARN|MAPREDUCE2|HBASE|HIVE|SPARK|KAFKA|FLINK|ZK-NIFI|ZEPPELIN] [start|stop|check] Available services: "AMBARI_METRICS" "FLINK" "HBASE" "HDFS" "HIVE" "KAFKA" "MAPREDUCE2"......