Entradas con zylk-blog nifi times .

Actualidad

Procesando ficheros con columnas de tamaño fijo con NiFi

avatar
Gustavo Fernández Mar 22, 2020
Zylk

Supongamos que tenemos un conjunto de ficheros que se han generado con un programa que exporta los datos de las columnas con un tamaño fijo. Por ejemplo un programa que exporta los siguientes cuatro campos FechaAlta (YYYYMMDD) 8 posiciones Estado Civil (0|1|2) 1 posición Edad (0-99) 2 posiciones Genero (0|1|2) 1 posición Cada registro será de la siguiente forma 202001030561 -> que representa un registro con fechas de alta 2020/01/03, estado civil 0, 56 años y genero 1 2020010309 1 -> que......

Leer más

Sistema de mensajería usando UDP AVRO y NiFi

avatar
Gustavo Fernández Jul 14, 2019
Zylk

Siguiendo con las pruebas de concepto de desacople de procesos usando NiFi hay otro caso que es bastante interesante y que se puede implementar con NiFI. Imaginemos que tenemos un caso de uso en el que la garantía de entrega no es importante, en el que además no queremos saturar la red y en el que se requiere una frecuencia de muestro alta...en ese escenario lo normal es no optar por el uso de TCP y usar UDP para las comunicaciones. NiFI dispone de dos Listeners que podemos usar para......

Leer más

Desacoplando peticiones REST con NiFi

avatar
Gustavo Fernández Jul 07, 2019
Zylk

Hace unos días estuve hablando sobre la posibilidad de desacoplar las peticiones de una aplicación web, de la ejecución de la tarea en el servidor. Las aplicaciones web que se ejecutan sobre protocolo http, orientado a petición/respuesta. En una arquitectura clásica, tienen un problema de base que hace que si alguna parte de la aplicación comienza a ir lenta se produzca un efecto bola de nieve y el rendimiento general de la aplicación se vea afectado. Para solventar este problema, intrínseco......

Leer más

Procesando logs con Nifi Grok y HIVE

avatar
Gustavo Fernández Oct 07, 2018
Zylk

En esta ocasión vamos a hacer una prueba de cómo se pueden procesar de manera sencilla, para su posterior explotación con HIVE, los logs de un servidor apache usando Expresiones Grok Records de Nifi (Avro) Ficheros ORC El punto de partida es un conjunto de ficheros con el access log de apache en tipo COMBINED. Lo que vamos a hacer es crear un flujo de NiFi con el que los vamos a transformar los logs en ficheros ORC. Una vez generados los dejaremos en una estructura de un filesystem remoto......

Leer más

Monitorización de levas industriales

avatar
Mikel Aguirre Aug 02, 2018

El presente post explica paso a paso la demo mostrada en el stand Zylk en el marco de BeDigital by BIEMH. Se trata de la monitorización del estado de dos levas cuyos datos provienen de un PLC Siemens simulado. Esta monitorización incluye el ciclo individual de cada leva, así como el ciclo compuesto. La arquitectura implementada se muestra en la siguiente imagen: La ingesta de los datos del PLC de Siemens se realiza a través de NiFi. Estos datos se formatean, procesan y persisten en una base......

Leer más

Integrando el email con taiga (NIFI)

avatar
Gustavo Fernández May 27, 2018
Zylk

En Zylk usamos la herramienta taiga para la gestión de los proyectos y el módulo de issues para los evolutivos asociados a los mismos. Los clientes suelen tener acceso al módulo de issues para registrar las incidencias y poder luego incluirlas en los sprints planificados. Muchos clientes prefieren comunicar la información por email, en vez de acceder la herramienta, así que con ayuda de apache NIFI he desarrollado en algo menos de 5 horas un flujo que hace lo siguiente Se conecta por imap(s)......

Leer más

Arquitectura de Big Data para la ingesta y explotación del dato basada en Hortonworks

avatar
Iñigo Angulo Apr 06, 2018

La arquitectura descrita en este artículo cubre las necesidades de un caso de uso de Big Data caracterizado por la ingesta de datos tanto en procesos en lotes (Batch) como en tiempo real (Streaming), orientado a la transformación y el enriquecimiento de los datos, y permitiendo su explotación desde las perspectivas de negocio y descubrimiento de datos (Data Science). Para su implementación, se han utilizado tecnologías del ecosistema Hadoop, concretamente de los stacks HDP y HDF 2.5 de......

Leer más

Primera Masterclass Big Data de Zylk

avatar
Mikel Aguirre Oct 10, 2017
Zylk

El 6 de Octubre comenzó la serie de Masterclasses de Zylk sobre Big Data en el ecosistema Hadoop. A través de esta serie de sesiones, se pretenden tratar los steps fundamentales que se siguen a la hora de procesar información desde la perspectiva del clúster de Big Data, echando un vistazo a las herramientas que más utilizamos, todas parte del ecosistema de Hortonworks. Los temas a tratar en estas sesiones se desglosan de la siguiente manera: Ingesta y preprocesado de datos a través de NiFi.......

Leer más
— Resultados por página
Mostrando 8 resultados.