Actualidad

El proyecto KAIA es una iniciativa surgida en 2021 y llevada a cabo gracias al programa Hazitek de SPRI y los Fondos FEDER Europeos, en la que colaboramos junto con otras 16 entidades. Trabajamos para desarrollar una plataforma digital de control de calidad para la fabricación con cero defectos mediante inteligencia artificial. En este artículo vamos a repasar los avances más destacados del segundo año del proyecto, 2022. Uno de los principales objetivos de este año ha sido la captación de......

En ZYLK somos pioneros y expertos en tecnologías Big Data desde 2012. Desde entonces brindamos soluciones a nuestros clientes basadas en el entorno de Apache Hadoop. Desarrollamos proyectos de valor clave, servicios de consultoría y soporte a clientes con estrategias de negocio de la analítica de datos. Nuestra trayectoria comenzó siendo partners de Hortonworks hasta el momento de su fusión con Cloudera en 2019, momento en el cual debutamos como partner BRONZE. Esto nos ha permitido tener una......

Desde ZYLK queremos dar a conocer una iniciativa por la que nuestro equipo de I+D ha estado apostando en los últimos años. Se trata del proyecto USAFES, que cuenta con el apoyo de SPRI y el programa Hazitek. USAFES es un proyecto liderado por Ikusi, que se enfoca en la aplicación de técnicas de analítica avanzada y procesado de imágenes para la seguridad ciudadana. Este proyecto se apoya en un sistema de videovigilancia, compuesto por una compleja red de videocámaras que registran eventos en......

Supongamos que tenemos un conjunto de ficheros que se han generado con un programa que exporta los datos de las columnas con un tamaño fijo. Por ejemplo un programa que exporta los siguientes cuatro campos FechaAlta (YYYYMMDD) 8 posiciones Estado Civil (0|1|2) 1 posición Edad (0-99) 2 posiciones Genero (0|1|2) 1 posición Cada registro será de la siguiente forma 202001030561 -> que representa un registro con fechas de alta 2020/01/03, estado civil 0, 56 años y genero 1 2020010309 1 -> que......

Siguiendo con las pruebas de concepto de desacople de procesos usando NiFi hay otro caso que es bastante interesante y que se puede implementar con NiFI. Imaginemos que tenemos un caso de uso en el que la garantía de entrega no es importante, en el que además no queremos saturar la red y en el que se requiere una frecuencia de muestro alta...en ese escenario lo normal es no optar por el uso de TCP y usar UDP para las comunicaciones. NiFI dispone de dos Listeners que podemos usar para......

Hace unos días estuve hablando sobre la posibilidad de desacoplar las peticiones de una aplicación web, de la ejecución de la tarea en el servidor. Las aplicaciones web que se ejecutan sobre protocolo http, orientado a petición/respuesta. En una arquitectura clásica, tienen un problema de base que hace que si alguna parte de la aplicación comienza a ir lenta se produzca un efecto bola de nieve y el rendimiento general de la aplicación se vea afectado. Para solventar este problema, intrínseco......

En esta ocasión vamos a hacer una prueba de cómo se pueden procesar de manera sencilla, para su posterior explotación con HIVE, los logs de un servidor apache usando Expresiones Grok Records de Nifi (Avro) Ficheros ORC El punto de partida es un conjunto de ficheros con el access log de apache en tipo COMBINED. Lo que vamos a hacer es crear un flujo de NiFi con el que los vamos a transformar los logs en ficheros ORC. Una vez generados los dejaremos en una estructura de un filesystem remoto......

El presente post explica paso a paso la demo mostrada en el stand Zylk en el marco de BeDigital by BIEMH. Se trata de la monitorización del estado de dos levas cuyos datos provienen de un PLC Siemens simulado. Esta monitorización incluye el ciclo individual de cada leva, así como el ciclo compuesto. La arquitectura implementada se muestra en la siguiente imagen: La ingesta de los datos del PLC de Siemens se realiza a través de NiFi. Estos datos se formatean, procesan y persisten en una base......

En Zylk usamos la herramienta taiga para la gestión de los proyectos y el módulo de issues para los evolutivos asociados a los mismos. Los clientes suelen tener acceso al módulo de issues para registrar las incidencias y poder luego incluirlas en los sprints planificados. Muchos clientes prefieren comunicar la información por email, en vez de acceder la herramienta, así que con ayuda de apache NIFI he desarrollado en algo menos de 5 horas un flujo que hace lo siguiente Se conecta por imap(s)......

La arquitectura descrita en este artículo cubre las necesidades de un caso de uso de Big Data caracterizado por la ingesta de datos tanto en procesos en lotes (Batch) como en tiempo real (Streaming), orientado a la transformación y el enriquecimiento de los datos, y permitiendo su explotación desde las perspectivas de negocio y descubrimiento de datos (Data Science). Para su implementación, se han utilizado tecnologías del ecosistema Hadoop, concretamente de los stacks HDP y HDF 2.5 de......

El 6 de Octubre comenzó la serie de Masterclasses de Zylk sobre Big Data en el ecosistema Hadoop. A través de esta serie de sesiones, se pretenden tratar los steps fundamentales que se siguen a la hora de procesar información desde la perspectiva del clúster de Big Data, echando un vistazo a las herramientas que más utilizamos, todas parte del ecosistema de Hortonworks. Los temas a tratar en estas sesiones se desglosan de la siguiente manera: Ingesta y preprocesado de datos a través de NiFi.......