Blogs

Entries with zylk-blog hortonworks .

Actualidad

Entrevista con David Olmos, cofundador de ZYLK en la EDI Datathon Berlin

avatar
Mikel Aguirre Oct 18, 2018
Zylk

David Olmos es un empresario español con más de 15 años de experiencia en el sector de TI. Cofundador de ZYLK, inversor en Brokerstars, líder en I + D y desarrollo estratégico de la empresa como CEO. Activo dentro de la comunidad OSS (Open Source Software), con Sinadura, como cofundador y jefe de desarrollo de negocios o trabajando estratégicamente a través de asociaciones como ESLE (Asociación Vasca de Open Software) y ASOLIF (Asociación española del Open Software) para desarrollar proyectos......

Read More

Interview with David Olmos, co-founder of ZYLK at the EDI Berlin Datathon

avatar
Mikel Aguirre Oct 18, 2018
Zylk

David Olmos is an Spanish Entrepreneur with more than 15 years experience in the IT sector. Co-founder of ZYLK, investor in Brokerstars, leading the R&D and strategic development of the business as CEO. Active within the OSS (Open Source Software) community, with Sinadura, as co-founder and head of business development or working strategically through associations such as ESLE (Basque Open Software Association) and ASOLIF (Spanish National Open Software Association) to further develop......

Read More

Procesando logs con Nifi Grok y HIVE

avatar
Gustavo Fernández Oct 07, 2018
Zylk

En esta ocasión vamos a hacer una prueba de cómo se pueden procesar de manera sencilla , para su posterior explotación con HIVE, los logs de un servidor apache usando  Expresiones Grok  Records de Nifi ( Avro )  Ficheros ORC El punto de partida es un conjunto de ficheros con el access log de apache en tipo COMBINED. Lo que vamos a hacer es crear un flujo de NiFi con el que los vamos a transformar los logs en ficheros ORC. Una vez generados los dejaremos en una estructura de un filesystem......

Read More

ZYLK Industry has been selected as one of the brightest “Big Data” startups in Europe

avatar
Mikel Aguirre Oct 01, 2018
Zylk

What is EDI? EDI is an incubation programme run by 20 partners across Europe. It gives the most innovative “Big Data” startups the opportunity to tackle real world challenges set by corporates across Europe, such as improving road safety in Barcelona or predicting fraudulent transactions in supermarkets. ZYLK Industry is taking part in EDI to solve the challenge set by Volkswagen Navarra: Predictive maintenance models for industrial robots in body shop. Our approach is to develop Industrial......

Read More

ZYLK Industry ha sido seleccionada como una de las startups "Big Data" más brillantes de Europa

avatar
Mikel Aguirre Oct 01, 2018
Zylk

¿Qué es EDI? EDI es un programa de incubación dirigido por 20 socios en toda Europa. Brinda a las startups más innovadoras de "Big Data" la oportunidad de enfrentar los desafíos del mundo real establecidos por las corporaciones en toda Europa, como mejorar la seguridad vial en Barcelona o predecir transacciones fraudulentas en los supermercados. ZYLK Industry participa en EDI para resolver el desafío establecido por Volkswagen Navarra : modelos de mantenimiento predictivo para robots......

Read More

La revolución de la Industria 4.0 vista por Zylk Industry

avatar
Mikel Aguirre Aug 06, 2018
Zylk

El mundo se ha conectado digitalmente al punto de no retorno. Cada día, alrededor de cinco millones de dispositivos se conectan entre sí, en Internet o en ambos. Hay alrededor de 6.400 millones de objetos que comunican datos en el mundo y para 2020 se pronostica que esta cifra se disparará a unos 20.000 millones. El término Industria 4.0 o Cuarta Revolución Industrial se refiere a la combinación de varias innovaciones importantes en tecnología digital, todas en madurez en este momento, todas......

Read More

Monitorización de levas industriales

avatar
Mikel Aguirre Aug 02, 2018

El presente post explica paso a paso la demo mostrada en el stand Zylk en el marco de BeDigital by BIEMH. Se trata de la monitorización del estado de dos levas cuyos datos provienen de un PLC Siemens simulado . Esta monitorización incluye el ciclo individual de cada leva, así como el ciclo compuesto. La arquitectura implementada se muestra en la siguiente imagen: La ingesta de los datos del PLC de Siemens se realiza a través de NiFi . Estos datos se formatean, procesan y persisten en una base......

Read More

Integrando el email con taiga (NIFI)

avatar
Gustavo Fernández May 27, 2018
Zylk

En Zylk usamos la herramienta taiga para la gestión de los proyectos y el módulo de issues para los evolutivos asociados a los mismos. Los clientes suelen tener acceso al módulo de issues para registrar las incidencias y poder luego incluirlas en los sprints planificados. Muchos clientes prefieren comunicar la información por email, en vez de acceder la herramienta, así que con ayuda de apache NIFI he desarrollado en algo menos de 5 horas un flujo que hace lo siguiente Se conecta por imap(s)......

Read More

Arquitectura de Big Data para la ingesta y explotación del dato basada en Hortonworks

avatar
Iñigo Angulo Apr 06, 2018

La arquitectura descrita en este artículo cubre las necesidades de un caso de uso de Big Data caracterizado por la ingesta de datos tanto en procesos en lotes (Batch) como en tiempo real (Streaming), orientado a la transformación y el enriquecimiento de los datos, y permitiendo su explotación desde las perspectivas de negocio y descubrimiento de datos (Data Science). Para su implementación, se han utilizado tecnologías del ecosistema Hadoop, concretamente de los stacks HDP y HDF 2.5 de......

Read More

Hortonworks vs Cloudera

avatar
Jon Ander Gonzalez Jul 26, 2017
Zylk

Vamos a empezar desde el principio explicando brevemente en que consiste ese término que se ha puesto tan de moda “Big Data”. Big Data no es más que un conjunto masivo de datos generados cada día por organizaciones y empresas cuya gestión es extremadamente compleja y que hasta la fecha eran desperdiciados no pudiendo sacar ninguna conclusión de ellos. Por eso nació la herramienta Apache Hadoop, que permite el almacenamiento distribuido y el procesamiento de grandes conjuntos de datos en base......

Read More

Cómo configurar Nutch 1.13 para que use SolrCloud 6.6.0

avatar
Gustavo Fernández Jul 02, 2017
Zylk

He estado haciendo este fin de semana unas pruebas de concepto para poder usar solrCloud, en su última versión , conjuntamente con el crawler nutch , también en su última versión. He encontrado muchos documentos explicando cómo configurar el sistema con solr normal pero no para usarlos con solrCloud. Voy a describir, someramente, un conjuntode tips que he aprendido este fin de semana mientras he realizado la prueba de concepto. Lo primero que hay que tener instalado y configurado es Nutch......

Read More

La primera edición de BIND 4.0 concluye con un Demo Day

avatar
Pilar Peña May 03, 2017
Zylk

La primera edición de BIND 4.0 concluye el próximo 5 de mayo con un demo day en el que tanto empresas industriales como inversores y medios de comunicación podrán contactar con las 11 startups participantes. Durante esta jornada las startups participantes presentarán sus proyectos junto con las empresas industriales a las que han aportado talento y soluciones innovadoras para mejorar su actividad. En nuestro caso desde  Zylk Industry Advanced Analytics os contaremos la  propuesta de BigData......

Read More

KMeans con Zeppelin y Spark

avatar
Gustavo Fernández Apr 22, 2017
Zylk

Siguiendo estos dos artículos de internet, uno donde se explica como crear un modelo aplicando el algoritmo no supervisado de clusterización (KMeans) y el otro , donde se explica usar Apache Spark desde el notebook zeppelin, he creado un ejemplo que mezcla ambos. Para poder ejecutarlo en el laboratorio de de bigdata que tenemos montado . Lo que se ha hecho ha sido lo siguiente Cargar los datos de los bancos Seleccionar dos de sus características (edad, balance) y usarlas como features para el......

Read More

HBase format

avatar
Gustavo Fernández Feb 03, 2017
Zylk

La notación de la shell de hbase es bastante poco amigable , por un lado porque la forma de escribir las sentencias es poco intuitiva, al principio, y por otro lado porque los valores son simpre arrays de bytes . Por tanto la salida de un comando suele leerse mal, sobre todo si lo que se ha almacenado no son los bytes de un string 100316046_2017_2_1 column=23:1485991943_latitud, timestamp=1486109715526, value=@Ea\x04;nS\x85 100316046_2017_2_1 column=23:1485991943_longitud,......

Read More

Interprete de zeppelin para hbase

avatar
Gustavo Fernández Feb 02, 2017
Zylk

Dentro de un proyecto de bigdata que estamos haciendo hemos usado como notebook del proyecto, zeppelin de apache . El ecosistema completo incluye ambari 2.2 y el HDP-2.4 . La cuestión es que justo este intérprete parece que tiene un bug para esta versión y que no funciona correctamente. Para hacelo funcionar hemos tenido que modificar dos cosas Cambiar las librerías de hbase que incluye el interprete por las de la versión de HDP-2.4 Añadir la siguiente variable de entorno al scritp de......

Read More

Examples of shell scripts using Ambari REST API uploaded to github

avatar
Cesar Capillas Jan 19, 2017

Hi, I uploaded the curl command based shell scripts using the Ambari REST API in the last posts into a small project in github. Here the code and examples: https://github.com/zylklab/ambari-shell-tools  ...

Read More

Starting services via Ambari REST API

avatar
Cesar Capillas Jan 16, 2017

Keeping on curl based commands from Ambari REST API, it is also possible start and stop services of your Big Data cluster, and not only to collect metrics from Ambari. For example,   ambari-service.sh [start|stop|check]  a given service: cesar@lemmy ~/local/ambari $ ./ambari-service.sh Usage: ambari-service.sh [ZOOKEEPER|HDFS|YARN|MAPREDUCE2|HBASE|HIVE|SPARK|KAFKA|FLINK|ZK-NIFI|ZEPPELIN] [start|stop|check] Available services: "AMBARI_METRICS" "FLINK" "HBASE" "HDFS" "HIVE" "KAFKA" "MAPREDUCE2"......

Read More

Monitoring Ambari with Nagios

avatar
Cesar Capillas Jan 12, 2017

Last day, we tried some curl commands to check Ambari metrics of our Big Data cluster. The next step for using these metrics collected in Ambari Server is to include them in a Nagios / Icinga server for getting email alerts and the usual monitoring stuff. A simple example may be something like to obtain Ambari alerts summary (Note: this can be improved a lot, it is just a probe of concept). check_ambari_alerts_summary.sh #!/bin/bash SERVER=$1 PORT=$2 USERNAME=$3 PASSWORD=$4 CLUSTERNAME=$5......

Read More

Getting Ambari metrics via curl and Ambari REST API

avatar
Cesar Capillas Jan 10, 2017

During last days, I started to play with an Ambari cluster, based on the Hortonworks distribution.  Ambari provides an agile interface for starting/stopping services in the cluster, modify configurations, and monitoring the different hosts and services of the cluster, providing alerts and metrics. Besides, Ambari provides a REST API for consuming the collected metrics and managing the cluster. This REST API is used in very interesting projects for monitoring a Big Data cluster (from the......

Read More

Flink procesado de streams ii

avatar
Gustavo Fernández Jan 07, 2017
Zylk

Siguiendo con el uso de ventanas en flink ,  vamos a modelar la generación de eventos para poder detectar que un stream concreto se está desviando de su funcionamiento normal. Por ejemplo vamos suponer que tenemos un stream que emite un evento cada vez que una persona añade un artículo a un carrito de la compra en una página web, y queremos detectar posibles problemas en el proceso. Para ello podemos hacer lo siguiente: Consumir dicho stream desde flink Crear una ventana que nos sume el......

Read More
— 20 Items per Page
Showing 1 - 20 of 41 results.