Open IT Experts for Enterprise
Digitalización de procesos industriales y mantenimiento predictivo El mundo se ha conectado digitalmente al punto de no retorno. Cada día, alrededor de cinco millones de dispositivos se conectan entre sí, en Internet o en ambos. Hay alrededor de 6.400 millones de objetos que comunican datos en el mundo y para 2020 se pronostica que esta cifra se disparará …
La revolución de la Industria 4.0 vista por Zylk Industry Leer más »
Captación y tratamiento de datos de un PLC de Siemens El presente post explica paso a paso la demo mostrada en el stand Zylk en el marco de BeDigital by BIEMH. Se trata de la monitorización del estado de dos levas cuyos datos provienen de un PLC Siemens simulado. Esta monitorización incluye el ciclo individual de …
-1024x335.png "Integrando el email con taiga (NIFI)")
registrando las incidencias que llegan por mail en taiga usando flujos de nifi En Zylk usamos la herramienta taiga para la gestión de los proyectos y el módulo de issues para los evolutivos asociados a los mismos. Los clientes suelen tener acceso al módulo de issues para registrar las incidencias y poder luego incluirlas en …
Compartiendo experiencias y creando valor entre los sectores del software libre y la construcción Irantzu Calvo, científica de datos de ZYLK y David Olmos CEO de ZYLK han asistido hoy a la Jornada de colaboración intersectorial para la digitalización del sector de la construcción en el Cluster Construction Eraikune . En la ponencia “No tires tus …
Participación de ZYLK en la jornada sobre la construcción 4.0 Leer más »
Flujo del dato en una arquitectura de microservicios La arquitectura descrita en este artículo cubre las necesidades de un caso de uso de Big Data caracterizado por la ingesta de datos tanto en procesos en lotes (Batch) como en tiempo real (Streaming), orientado a la transformación y el enriquecimiento de los datos, y permitiendo su …
Arquitectura de Big Data para la ingesta y explotación del dato basada en Hortonworks Leer más »
ZYLK se convierte en partner GOLD de Hortonworks Estamos encantados de anunciar que hemos decidido reforzar la relación con Hortonworksy convertirnos en partners Gold. Con ello pretendemos impulsar aún más el valor estratégico de los datos de nuestros clientes aprovechando todo el potencial que ofrece ser socio del fabricante. Sabemos que, en entornos productivos, cuando se alcanza cierto …
Valoramos las diferencias entre las dos distribuciones más populares de Apache Hadoop Vamos a empezar desde el principio explicando brevemente en que consiste ese término que se ha puesto tan de moda “Big Data”. Big Data no es más que un conjunto masivo de datos generados cada día por organizaciones y empresas cuya gestión es …
Tips de configuración He estado haciendo este fin de semana unas pruebas de concepto para poder usar solrCloud, en su última versión, conjuntamente con el crawler nutch, también en su última versión. He encontrado muchos documentos explicando cómo configurar el sistema con solr normal pero no para usarlos con solrCloud. Voy a describir, someramente, un …
Cómo configurar Nutch 1.13 para que use SolrCloud 6.6.0 Leer más »
Empresas industriales, inversores profesionales y medios de comunicación podrán contactar con las startups participantes La primera edición de BIND 4.0 concluye el próximo 5 de mayo con un demo day en el que tanto empresas industriales como inversores y medios de comunicación podrán contactar con las 11 startups participantes. Durante esta jornada las startups participantes …
La primera edición de BIND 4.0 concluye con un Demo Day Leer más »
Aplicando KMeans en el análisis de datos Siguiendo estos dos artículos de internet, uno donde se explica como crear un modelo aplicando el algoritmo no supervisado de clusterización (KMeans) y el otro, donde se explica usar Apache Spark desde el notebook zeppelin, he creado un ejemplo que mezcla ambos. Para poder ejecutarlo en el laboratorio …
Formateando el valor de una columna al realizar un hbase get La notación de la shell de hbase es bastante poco amigable, por un lado porque la forma de escribir las sentencias es poco intuitiva, al principio, y por otro lado porque los valores son simpre arrays de bytes. Por tanto la salida de un …
Configurando el intérprete de zeppelin para hbase en hdp 2.4 Dentro de un proyecto de bigdata que estamos haciendo hemos usado como notebook del proyecto, zeppelin de apache. El ecosistema completo incluye ambari 2.2 y el HDP-2.4. La cuestión es que justo este intérprete parece que tiene un bug para esta versión y que no …
Curl examples for using Ambari REST API from command line Hi, I uploaded the curl command based shell scripts using the Ambari REST API in the last posts into a small project in github. Here the code and examples: https://github.com/zylklab/ambari-shell-tools
How to start, stop and check services via curl command Keeping on curl based commands from Ambari REST API, it is also possible start and stop services of your Big Data cluster, and not only to collect metrics from Ambari. For example, ambari-service.sh [start|stop|check] a given service: cesar@lemmy ~/local/ambari $ ./ambari-service.sh Usage: ambari-service.sh [ZOOKEEPER|HDFS|YARN|MAPREDUCE2|HBASE|HIVE|SPARK|KAFKA|FLINK|ZK-NIFI|ZEPPELIN] [start|stop|check] Available services: "AMBARI_METRICS" …
Custom nagios shell script with curl command to monitor Ambari Last day, wetried some curl commands to check Ambari metrics of our Big Datacluster. The next step for using these metrics collected in AmbariServer is to include them in a Nagios / Icinga server for gettingemail alerts and the usual monitoring stuff. A simple example may be something …
Monitoring an Ambari cluster via curl command During last days, I started to play with an Ambari cluster, based on the Hortonworks distribution. Ambari provides an agile interface for starting/stopping services in the cluster, modify configurations, and monitoring the different hosts and services of the cluster, providing alerts and metrics. Besides, Ambari provides a REST API for consuming …
Getting Ambari metrics via curl and Ambari REST API Leer más »
Aplicando una regresion lineal a un stream Siguiendo con el uso de ventanas en flink, vamos a modelar la generación de eventos para poder detectar que un stream concreto se está desviando de su funcionamiento normal. Por ejemplo vamos suponer que tenemos un stream que emite un evento cada vez que una persona añade un …
-1024x335.png "Flink procesado de streams i")
Procesado streams con ventanas personalizadas usando Flink En un proyecto, en el que estamos involucrados y en el que estamos usando flink para el procesado de streams, hemos tenido que investigar como desarrollar una ventana de procesado personalizada. En este caso una ventana muy sencilla que consiste en disparar los eventos bajo dos circuntancias Cuando …
Last week ZYLK INDUSTRY, part of zylk ADVANCED ANALYTICS product line, had to pitch their Industry 4.0 project to 10 Industrial companies. Do you want to watch our vídeo?
El viernes 30 de septiembre ZYLK Advanced Analytics se presentó al reto Velatia (Grupo Ormazabal) enmarcado dentro del programa de Innovación Abierta de Bizkaia Open Future, impulsado por la diputación de Bizkaia y Telefónica. El viernes 30 de septiembre ZYLK Advanced Analytics se presentó al reto Velatia (Grupo Ormazabal) enmarcado dentro del programa de Innovación …
ZYLK Industry Advanced Analytics participa en el reto Velatia – Ormazabal Leer más »
Last Friday, September 16th the spin-off of ZYLK ZYLK INDUSTRY asked to join in the accelerator BIND 4.0. BIND is the first startup accelerator offering access to high-level Industry 4.0 customers as you can read at their website. Bind 4.0 is a public-private acceleration program that lasts 24 weeks and takes place in the Basque Country. It focuses on Industry …
ZYLK Industry Advanced Analytics wants to accelerate its growth via BIND 4.0 Leer más »
Durante los últimos tres meses en zylk hemos estado desarrollando, conjuntamente con personal de EJIE (Oscar Guadilla en la definición de la arquitectura y gestión del proyecto, Carlos Gonzalez de Zarate y Roberto Tajada en la parte de platea integración y Juan Uralde en la parte de xlnets) , una aplicación horizontal para el intercambio …
Usando hadoop para intercambio masivo de ficheros en un contexto de big data Leer más »
Uno de los últimos proyectos en los que ha estado trabajando el equipo ha sido la segunda parte del proyecto relacionado con el intercambio de ficheros usando HADOOP comentado en el post Usando hadoop para intercambio masivo de ficheros en un contexto de big data. El equipo responsable del desarrollo ha sido el mismo que …
Usando hadoop para intercambio masivo de ficheros en un contexto de big data II Leer más »
El pasado día 6 de Junio asistimos a una jornada de introducción al Big Data en enpresadigitala donde Jorge Ubero nos introdujo en el paradigma de Big Data. Y es que tal y como dijo Eric Schmidt (CEO de Google) cada día producimos tanto contenido como produjo toda la humanidad desde hace 2000. Esto son …
Big data explorando los nuevos paradigmas del desarrollo Leer más »
Siguiendo con el postanterior, los servicios que al final hemos arrancado, y la formade arrancarlos es la siguiente: Arrancar el filesystem distribuido, el yarn y el servidor dehistórico de tares realizadas por yarn>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-dfs.sh>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-yarn.sh>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$./mr-jobhistory-daemon.sh start historyserver Arrancar el gateway de nfs>>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ sudo./hdfs portmap>>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ sudo./hdfs nfs3 UPDATE: Hemos incorporado hbase al laboratorio >>>hadoop@lug000:/zoo/hbase-0.98.5-hadoop2$ ./bin/start-hbase.sh Y …
Montando un laboratorio de big-data basado en hadoop 2 servicios arrancados Leer más »