Actualidad

En ZYLK somos pioneros y expertos en tecnologías Big Data desde 2012. Desde entonces brindamos soluciones a nuestros clientes basadas en el entorno de Apache Hadoop. Desarrollamos proyectos de valor clave, servicios de consultoría y soporte a clientes con estrategias de negocio de la analítica de datos. Nuestra trayectoria comenzó siendo partners de Hortonworks hasta el momento de su fusión con Cloudera en 2019, momento en el cual debutamos como partner BRONZE. Esto nos ha permitido tener una......

Llevo bastante tiempo sin escribir nada técnico relacionado con el mundo del la analítica de datos y el bigdata. En zylk hemos seguido trabajando con el ecosistema de apache hadoop (hive, yarn, hdfs etc..) y como siempre también hemos estado siguiendo algunos proyectos de la fundación apache que nos parecen interesante. Entre ellos hay tres que nos gustan especialmente y son: Apache Ozone Apache Iceberg Apache Submarine En este artículo vamos a explicar, brevemente, como hemos montado un......

Una de las cosas que se suelen hacer cuando se está haciendo un análisis avanzado de datos es representar los mismos, tanto desde el punto de vista de la fase exploratoria como desde el punto de vista del uso de los resultados de los modelos aplicados. Dentro de este contexto hay una librería/proyteco que es muy interesante y se se está usando bastante. Este proyecto es plotly, es un proyecto bastante más interesante que una mera librería gráfica, aunque en este caso lo vamos usar solo como......

Supongamos que tenemos un conjunto de ficheros que se han generado con un programa que exporta los datos de las columnas con un tamaño fijo. Por ejemplo un programa que exporta los siguientes cuatro campos FechaAlta (YYYYMMDD) 8 posiciones Estado Civil (0|1|2) 1 posición Edad (0-99) 2 posiciones Genero (0|1|2) 1 posición Cada registro será de la siguiente forma 202001030561 -> que representa un registro con fechas de alta 2020/01/03, estado civil 0, 56 años y genero 1 2020010309 1 -> que......

En Zylk apostamos por la innovación basada en tecnología Open Source, por eso este año queremos ser parte de la OpenExpo Europe 2020, un evento que reúne a personalidades importantes del sector, profesionales y empresas. Para votar solo tienes que pinchar en este enlace. En esta séptima edición los asistentes podrán disfrutar de múltiples conferencias en donde se hablará de diversos temas como la IA, transformación digital, Big Data, aprendizaje automático, dispositivos inteligentes, nube......

Hace unos días estuve hablando sobre la posibilidad de desacoplar las peticiones de una aplicación web, de la ejecución de la tarea en el servidor. Las aplicaciones web que se ejecutan sobre protocolo http, orientado a petición/respuesta. En una arquitectura clásica, tienen un problema de base que hace que si alguna parte de la aplicación comienza a ir lenta se produzca un efecto bola de nieve y el rendimiento general de la aplicación se vea afectado. Para solventar este problema, intrínseco......

Para que los cambios en los grupos se vean reflejados, por ejemplo si hemos añadido un nuevo grupo al sistema operativo o al LDAP (si tenemos configurado el servicio SSSD), en el cluster de hadoop lo que hay que hacer es, sobre el namenode ejecutar los siguientes comandos sss_cache -E kinit -kt /etc/security/keytabs/hdfs.headless.keytab hdfs hdfs dfsadmin -refreshUserToGroupsMapping hdfs groups gfg001 Con estos comandos lo que conseguimos es Limpiar la cache del servicio SSSD Iniciar un token......

Zylk Industry se incorporó al European Data Incubator (EDI) afrontando el desafío planteado por Volkswagen Navarra: modelos de mantenimiento predictivo para robots industriales en talleres de carrocería. Para ello ha desarrollado Industrial Robots Insights (IRI), un producto capaz de leer, procesar y visualizar datos estadísticos y alarmas de brazos robóticos de KUKA, ABB y FANUC conectados a PLC Siemens. Otro de los logros de ZYLK ha consistido en la consolidación de su relación con......

Uno de los problemas más comunes a la hora de poner en producción un proyecto basado en Flink, es el control del estado de los jobs que se están ejecutando. Flink monitoriza los jobs e inicia una política de reinicio configurable en caso de que alguno de los jobs falle. Permite especificar políticas como la siguiente: "En caso de que un job falle, espera dos minutos, e intenta reiniciarlo. En caso de que falle de nuevo, vuelvelo a intentar un máximo de tres veces". Sin embargo, a veces esto......

Una de las características más interesantes de la versión 3 de hadoop es la evolución que ha sufrido yarn La versión 1 de hadoop estaba orientada a Map&Reduce En la versión 2 se reescribió el motor de gestión de recursos de map&reduce y pasó a ser un motor general de gestión de recursos y se llamó YARN (Yet Another Resaource Negociator) En la versión 3 se ha seguido potenciando YARN para que sea capaz de gestionar no solo la CPU y la memoria del cluster. También es ahora capaz de gestionar ......

David Olmos es un empresario español con más de 15 años de experiencia en el sector de TI. Cofundador de ZYLK, inversor en Brokerstars, líder en I + D y desarrollo estratégico de la empresa como CEO. Activo dentro de la comunidad OSS (Open Source Software), con Sinadura, como cofundador y jefe de desarrollo de negocios o trabajando estratégicamente a través de asociaciones como ESLE (Asociación Vasca de Open Software) y ASOLIF (Asociación española del Open Software) para desarrollar proyectos......

David Olmos is an Spanish Entrepreneur with more than 15 years experience in the IT sector. Co-founder of ZYLK, investor in Brokerstars, leading the R&D and strategic development of the business as CEO. Active within the OSS (Open Source Software) community, with Sinadura, as co-founder and head of business development or working strategically through associations such as ESLE (Basque Open Software Association) and ASOLIF (Spanish National Open Software Association) to further develop......

En esta ocasión vamos a hacer una prueba de cómo se pueden procesar de manera sencilla, para su posterior explotación con HIVE, los logs de un servidor apache usando Expresiones Grok Records de Nifi (Avro) Ficheros ORC El punto de partida es un conjunto de ficheros con el access log de apache en tipo COMBINED. Lo que vamos a hacer es crear un flujo de NiFi con el que los vamos a transformar los logs en ficheros ORC. Una vez generados los dejaremos en una estructura de un filesystem remoto......

What is EDI? EDI is an incubation programme run by 20 partners across Europe. It gives the most innovative “Big Data” startups the opportunity to tackle real world challenges set by corporates across Europe, such as improving road safety in Barcelona or predicting fraudulent transactions in supermarkets. ZYLK Industry is taking part in EDI to solve the challenge set by Volkswagen Navarra: Predictive maintenance models for industrial robots in body shop. Our approach is to develop Industrial......

¿Qué es EDI? EDI es un programa de incubación dirigido por 20 socios en toda Europa. Brinda a las startups más innovadoras de "Big Data" la oportunidad de enfrentar los desafíos del mundo real establecidos por las corporaciones en toda Europa, como mejorar la seguridad vial en Barcelona o predecir transacciones fraudulentas en los supermercados. ZYLK Industry participa en EDI para resolver el desafío establecido por Volkswagen Navarra: modelos de mantenimiento predictivo para robots......

El mundo se ha conectado digitalmente al punto de no retorno. Cada día, alrededor de cinco millones de dispositivos se conectan entre sí, en Internet o en ambos. Hay alrededor de 6.400 millones de objetos que comunican datos en el mundo y para 2020 se pronostica que esta cifra se disparará a unos 20.000 millones. El término Industria 4.0 o Cuarta Revolución Industrial se refiere a la combinación de varias innovaciones importantes en tecnología digital, todas en madurez en este momento, todas......

El presente post explica paso a paso la demo mostrada en el stand Zylk en el marco de BeDigital by BIEMH. Se trata de la monitorización del estado de dos levas cuyos datos provienen de un PLC Siemens simulado. Esta monitorización incluye el ciclo individual de cada leva, así como el ciclo compuesto. La arquitectura implementada se muestra en la siguiente imagen: La ingesta de los datos del PLC de Siemens se realiza a través de NiFi. Estos datos se formatean, procesan y persisten en una base......

En Zylk usamos la herramienta taiga para la gestión de los proyectos y el módulo de issues para los evolutivos asociados a los mismos. Los clientes suelen tener acceso al módulo de issues para registrar las incidencias y poder luego incluirlas en los sprints planificados. Muchos clientes prefieren comunicar la información por email, en vez de acceder la herramienta, así que con ayuda de apache NIFI he desarrollado en algo menos de 5 horas un flujo que hace lo siguiente Se conecta por imap(s)......

Irantzu Calvo, científica de datos de ZYLK y David Olmos CEO de ZYLK han asistido hoy a la Jornada de colaboración intersectorial para la digitalización del sector de la construcción en el Cluster Construction Eraikune . En la ponencia “No tires tus datos, aprovéchalos para dar valor a tu empresa, ahorrar costes y ser más competitivo”, Irantzu ha hablado de cómo aplicar técnicas de #bigdata con Hortonworks en el sector de la construcción para monitorizar y mantener, predictivamente, activos y......

La arquitectura descrita en este artículo cubre las necesidades de un caso de uso de Big Data caracterizado por la ingesta de datos tanto en procesos en lotes (Batch) como en tiempo real (Streaming), orientado a la transformación y el enriquecimiento de los datos, y permitiendo su explotación desde las perspectivas de negocio y descubrimiento de datos (Data Science). Para su implementación, se han utilizado tecnologías del ecosistema Hadoop, concretamente de los stacks HDP y HDF 2.5 de......