Open IT Experts for Enterprise

Zylk empresa de desarrollo de ecommerce

hadoop ecosystem

bizkaia open future

ZYLK Industry Advanced Analytics participa en el reto Velatia – Ormazabal

El viernes 30 de septiembre ZYLK Advanced Analytics se presentó al reto Velatia (Grupo Ormazabal) enmarcado dentro del programa de Innovación Abierta de Bizkaia Open Future, impulsado por la diputación de Bizkaia y Telefónica. El viernes 30 de septiembre ZYLK Advanced Analytics se presentó al reto Velatia (Grupo Ormazabal) enmarcado dentro del programa de Innovación …

ZYLK Industry Advanced Analytics participa en el reto Velatia – Ormazabal Leer más »

Bind 4.0

ZYLK Industry Advanced Analytics wants to accelerate its growth via BIND 4.0

Last Friday, September 16th the spin-off of ZYLK ZYLK INDUSTRY asked to join in the accelerator BIND 4.0. BIND is the first startup accelerator offering access to high-level Industry 4.0 customers as you can read at their website. Bind 4.0 is a public-private acceleration program that lasts 24 weeks and takes place in the Basque Country. It focuses on Industry …

ZYLK Industry Advanced Analytics wants to accelerate its growth via BIND 4.0 Leer más »

Usando hadoop para intercambio masivo de ficheros en un contexto de big data

Durante los últimos tres meses en zylk hemos estado desarrollando, conjuntamente con personal de EJIE (Oscar Guadilla en la definición de la arquitectura y gestión del proyecto, Carlos Gonzalez de Zarate y Roberto Tajada en la parte de platea integración y Juan Uralde en la parte de xlnets) , una aplicación horizontal para el intercambio …

Usando hadoop para intercambio masivo de ficheros en un contexto de big data Leer más »

Usando hadoop para intercambio masivo de ficheros en un contexto de big data II

Uno de los últimos proyectos en los que ha estado trabajando el equipo ha sido la segunda parte del proyecto relacionado con el intercambio de ficheros usando HADOOP comentado en el post Usando hadoop para intercambio masivo de ficheros en un contexto de big data. El equipo responsable del desarrollo ha sido el mismo que …

Usando hadoop para intercambio masivo de ficheros en un contexto de big data II Leer más »

Big data explorando los nuevos paradigmas del desarrollo

El pasado día 6 de Junio asistimos a una jornada de introducción al Big Data en enpresadigitala donde Jorge Ubero nos introdujo en el paradigma de Big Data. Y es que tal y como dijo Eric Schmidt (CEO de Google) cada día producimos tanto contenido como produjo toda la humanidad desde hace 2000. Esto son …

Big data explorando los nuevos paradigmas del desarrollo Leer más »

Montando un laboratorio de big data basado en Hadoop 2

LLevamos ya un tiempo usando el llamado zoo dehadoop para hacer algunos proyectosrelacionados con big-data.Hasta ahora siempre hemos usado la versión de hadoop 1.x porque era laversión con la que empezamos a hacer las pruebas de concepto. Perocomo parece ya seguro que hadoop ha venido para quedarse noestá de más hacer pruebas con las nuevas …

Montando un laboratorio de big data basado en Hadoop 2 Leer más »

Montando un laboratorio de big-data basado en hadoop 2 servicios arrancados

Siguiendo con el postanterior, los servicios que al final hemos arrancado, y la formade arrancarlos es la siguiente: Arrancar el filesystem distribuido, el yarn y el servidor dehistórico de tares realizadas por yarn>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-dfs.sh>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-yarn.sh>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$./mr-jobhistory-daemon.sh start historyserver Arrancar el gateway de nfs>>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ sudo./hdfs portmap>>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ sudo./hdfs nfs3 UPDATE: Hemos incorporado hbase al laboratorio >>>hadoop@lug000:/zoo/hbase-0.98.5-hadoop2$ ./bin/start-hbase.sh Y …

Montando un laboratorio de big-data basado en hadoop 2 servicios arrancados Leer más »

Cargando librerias nativas para hadoop 2, come evitar el WARNING Unable to load native-hadoop library

Siguiendo con los posts anteriores (I,II)relacionados con el laboratorio de hadoop 2, elprimer post dejé un warning en el arranque de hdfs sin resolver. Elwarning está relacionado con el uso de librerías nativas del sistemaoperativo para los procesos de compresión y descompresión. Parece queestos procesos realizados por medio de código java son un 40% máslentos …

Cargando librerias nativas para hadoop 2, come evitar el WARNING Unable to load native-hadoop library Leer más »

Cubos OLAP con hbase, pentaho, saiku y phoenix

Hace unos meses que el proyecto phoenix ha salido de la incubadora de apache. Por esta razón he decidido hacer unas pruebas de concepto para ver como se podría integrar los cubos R-OLAP basados en mondrian y consumidos desde la interfaz de saiku como componente de servidor de pentaho. ¿por qué puede ser interesante esto?. …

Cubos OLAP con hbase, pentaho, saiku y phoenix Leer más »

Monitorizando el cluster de hadoop y kafka con Ganglia

Siguiendo con los artículos anteriores relacionados con los nuevos paradigmas del desarrollo, hemos montado en el laboratorio donde hacemos las pruebas, en zylk.net, un sistema de monitorización para tener métricas de los siguientes productos Sistema operativo HDFS MAP&REDUCE (yarn) Hbase Kafka Todos estos productos ya los hemos ido describiendo en anteriores entradas del blog y …

Monitorizando el cluster de hadoop y kafka con Ganglia Leer más »

Avro RCP yarn and slider

Siguiendo con los artículos relacionados con YARN, SLIDER y arquitecturas relacionadas con BigData mostramos a continuación una posible arquitectura basda en los siguientes tres elementos YARN SLIDER AVRO RPC Donde lo importante es que con este tipo de arquitectura podríamos disponer de servicios con las caraterísticas indicadas Resilence (http://hortonworks.com/blog/rm-yarn-resilience/) Elastic (https://slider.incubator.apache.org/) Horizontal Scaling (http://hortonworks.com/hadoop/slider/) Packaging …

Avro RCP yarn and slider Leer más »

Usando yarn y slider para levantar procesos en un cluster de hortonworks

Siguiendo con las pruebas y las arquitecturas relacionados con bigdata vamos a inspeccionar las capacidades de yarn para levantar procesos en un cluster HDP. Lo primero que habría que introducir es el producto yarn. De la página siguiente de hortonworks podemos obtener la siguiente definición YARN is the prerequisite for Enterprise Hadoop, providing resource management …

Usando yarn y slider para levantar procesos en un cluster de hortonworks Leer más »

Hadoop logo

Visión general de una arquitectura de microservicios basada en yarn

Como crear una arquitectura de microservicios usando hadoop-yarn Siguiendo con la evolución de las arquitecturas orientadas a servicios … ahí va un gráfico que completa la visión general explicada en anteriores post Los servicios son servicios modelados con avro/RP y pueden operar en tres modalidades POJOs Como servicio RPC en local Como servicio RPC en …

Visión general de una arquitectura de microservicios basada en yarn Leer más »

Approaches on Internet_of Things Solutions

Zylk Industry is here Big Data and IoT together

Zylk Industry is here. Big Data and IoT together for our customers. your industry is full of data, are you aware of that? ZYLK Industry is a project that was born 2 years ago from the Big Data Team experience in Energy, Automotive, and Telecomunications industries. Our team is formed by professionals with extensive experience …

Zylk Industry is here Big Data and IoT together Leer más »