Blogs

Entries with zylk-blog hortonworks .

Actualidad

La primera edición de BIND 4.0 concluye con un Demo Day

avatar
Pilar Peña May 03, 2017
Zylk

La primera edición de BIND 4.0 concluye el próximo 5 de mayo con un demo day en el que tanto empresas industriales como inversores y medios de comunicación podrán contactar con las 11 startups participantes. Durante esta jornada las startups participantes presentarán sus proyectos junto con las empresas industriales a las que han aportado talento y soluciones innovadoras para mejorar su actividad. En nuestro caso desde  Zylk Industry Advanced Analytics os contaremos la  propuesta de BigData......

Read More

KMeans con Zeppelin y Spark

avatar
Gustavo Fernández Apr 22, 2017
Zylk

Siguiendo estos dos artículos de internet, uno donde se explica como crear un modelo aplicando el algoritomo no supervisado de clusterización (KMeans) y el otro , donde se explica usar Apache Spark desde el notebook zeppelin, he creado un ejemplo que mezcla ambos. Para poder ejecutarlo en el laboratorio de de bigdata que tenemos montado . Lo que se ha hecho ha sido lo siguiente Cargar los datos de los bancos Seleccionar dos de sus características (edad, balance) y usarlas como features para......

Read More

HBase format

avatar
Gustavo Fernández Feb 03, 2017
Zylk

La notación de la shell de hbase es bastante poco amigable , por un lado porque la forma de escribir las sentencias es poco intuitiva, al principio, y por otro lado porque los valores son simpre arrays de bytes . Por tanto la salida de un comando suele leerse mal, sobre todo si lo que se ha almacenado no son los bytes de un string 100316046_2017_2_1 column=23:1485991943_latitud, timestamp=1486109715526, value=@Ea\x04;nS\x85 100316046_2017_2_1 column=23:1485991943_longitud,......

Read More

Interprete de zeppelin para hbase

avatar
Gustavo Fernández Feb 02, 2017
Zylk

Dentro de un proyecto de bigdata que estamos haciendo hemos usado como notebook del proyecto, zeppelin de apache . El ecosistema completo incluye ambari 2.2 y el HDP-2.4 . La cuestión es que justo este intérprete parece que tiene un bug para esta versión y que no funciona correctamente. Para hacelo funcionar hemos tenido que modificar dos cosas Cambiar las librerías de hbase que incluye el interprete por las de la versión de HDP-2.4 Añadir la siguiente variable de entorno al scritp de......

Read More

Examples of shell scripts using Ambari REST API uploaded to github

avatar
Cesar Capillas Jan 19, 2017

Hi, I uploaded the curl command based shell scripts using the Ambari REST API in the last posts into a small project in github. Here the code and examples: https://github.com/zylklab/ambari-shell-tools  ...

Read More

Starting services via Ambari REST API

avatar
Cesar Capillas Jan 16, 2017

Keeping on curl based commands from Ambari REST API, it is also possible start and stop services of your Big Data cluster, and not only to collect metrics from Ambari. For example,   ambari-service.sh [start|stop|check]  a given service: cesar@lemmy ~/local/ambari $ ./ambari-service.sh Usage: ambari-service.sh [ZOOKEEPER|HDFS|YARN|MAPREDUCE2|HBASE|HIVE|SPARK|KAFKA|FLINK|ZK-NIFI|ZEPPELIN] [start|stop|check] Available services: "AMBARI_METRICS" "FLINK" "HBASE" "HDFS" "HIVE" "KAFKA" "MAPREDUCE2"......

Read More

Monitoring Ambari with Nagios

avatar
Cesar Capillas Jan 12, 2017

Last day, we tried some curl commands to check Ambari metrics of our Big Data cluster. The next step for using these metrics collected in Ambari Server is to include them in a Nagios / Icinga server for getting email alerts and the usual monitoring stuff. A simple example may be something like to obtain Ambari alerts summary (Note: this can be improved a lot, it is just a probe of concept). check_ambari_alerts_summary.sh #!/bin/bash SERVER=$1 PORT=$2 USERNAME=$3 PASSWORD=$4 CLUSTERNAME=$5......

Read More

Getting Ambari metrics via curl and Ambari REST API

avatar
Cesar Capillas Jan 10, 2017

During last days, I started to play with an Ambari cluster, based on the Hortonworks distribution.  Ambari provides an agile interface for starting/stopping services in the cluster, modify configurations, and monitoring the different hosts and services of the cluster, providing alerts and metrics. Besides, Ambari provides a REST API for consuming the collected metrics and managing the cluster. This REST API is used in very interesting projects for monitoring a Big Data cluster (from the......

Read More

Flink procesado de streams ii

avatar
Gustavo Fernández Jan 07, 2017
Zylk

Siguiendo con el uso de ventanas en flink ,  vamos a modelar la generación de eventos para poder detectar que un stream concreto se está desviando de su funcionamiento normal. Por ejemplo vamos suponer que tenemos un stream que emite un evento cada vez que una persona añade un artículo a un carrito de la compra en una página web, y queremos detectar posibles problemas en el proceso. Para ello podemos hacer lo siguiente: Consumir dicho stream desde flink Crear una ventana que nos sume el......

Read More

Flink procesado de streams i

avatar
Gustavo Fernández Dec 05, 2016
Zylk

En un proyecto, en el que estamos involucrados y en el que estamos usando flink para el procesado de streams, hemos tenido que investigar como desarrollar una ventana de procesado personalizada. En este caso una ventana muy sencilla que consiste en disparar los eventos bajo dos circuntancias Cuando han entrado un número de eventos concreto Cuando ha pasado un tiempo determinado En realidad es simplemente una ventan que conjuga las dos ventanas típicas que flink ofrece por defecto. Para hacer......

Read More
— 10 Items per Page
Showing 1 - 10 of 29 results.