Entries with zylk-blog hortonworks times .

Actualidad

Interprete de zeppelin para hbase

avatar
Gustavo Fernández Feb 02, 2017
Zylk

Dentro de un proyecto de bigdata que estamos haciendo hemos usado como notebook del proyecto, zeppelin de apache. El ecosistema completo incluye ambari 2.2 y el HDP-2.4. La cuestión es que justo este intérprete parece que tiene un bug para esta versión y que no funciona correctamente. Para hacelo funcionar hemos tenido que modificar dos cosas Cambiar las librerías de hbase que incluye el interprete por las de la versión de HDP-2.4 Añadir la siguiente variable de entorno al scritp de arranque......

Read More

Examples of shell scripts using Ambari REST API uploaded to github

avatar
Cesar Capillas Jan 19, 2017

Hi, I uploaded the curl command based shell scripts using the Ambari REST API in the last posts into a small project in github. Here the code and examples: https://github.com/zylklab/ambari-shell-tools  ...

Read More

Starting services via Ambari REST API

avatar
Cesar Capillas Jan 16, 2017

Keeping on curl based commands from Ambari REST API, it is also possible start and stop services of your Big Data cluster, and not only to collect metrics from Ambari. For example,  ambari-service.sh [start|stop|check] a given service: cesar@lemmy ~/local/ambari $ ./ambari-service.sh Usage: ambari-service.sh [ZOOKEEPER|HDFS|YARN|MAPREDUCE2|HBASE|HIVE|SPARK|KAFKA|FLINK|ZK-NIFI|ZEPPELIN] [start|stop|check] Available services: "AMBARI_METRICS" "FLINK" "HBASE" "HDFS" "HIVE" "KAFKA" "MAPREDUCE2"......

Read More

Monitoring Ambari with Nagios

avatar
Cesar Capillas Jan 12, 2017

Last day, we tried some curl commands to check Ambari metrics of our Big Data cluster. The next step for using these metrics collected in Ambari Server is to include them in a Nagios / Icinga server for getting email alerts and the usual monitoring stuff. A simple example may be something like to obtain Ambari alerts summary (Note: this can be improved a lot, it is just a probe of concept). check_ambari_alerts_summary.sh #!/bin/bash SERVER=$1 PORT=$2 USERNAME=$3 PASSWORD=$4 CLUSTERNAME=$5......

Read More

Getting Ambari metrics via curl and Ambari REST API

avatar
Cesar Capillas Jan 10, 2017

During last days, I started to play with an Ambari cluster, based on the Hortonworks distribution. Ambari provides an agile interface for starting/stopping services in the cluster, modify configurations, and monitoring the different hosts and services of the cluster, providing alerts and metrics. Besides, Ambari provides a REST API for consuming the collected metrics and managing the cluster. This REST API is used in very interesting projects for monitoring a Big Data cluster (from the......

Read More

Flink procesado de streams ii

avatar
Gustavo Fernández Jan 07, 2017
Zylk

Siguiendo con el uso de ventanas en flink,  vamos a modelar la generación de eventos para poder detectar que un stream concreto se está desviando de su funcionamiento normal. Por ejemplo vamos suponer que tenemos un stream que emite un evento cada vez que una persona añade un artículo a un carrito de la compra en una página web, y queremos detectar posibles problemas en el proceso. Para ello podemos hacer lo siguiente: Consumir dicho stream desde flink Crear una ventana que nos sume el número......

Read More

Flink procesado de streams i

avatar
Gustavo Fernández Dec 05, 2016
Zylk

En un proyecto, en el que estamos involucrados y en el que estamos usando flink para el procesado de streams, hemos tenido que investigar como desarrollar una ventana de procesado personalizada. En este caso una ventana muy sencilla que consiste en disparar los eventos bajo dos circuntancias Cuando han entrado un número de eventos concreto Cuando ha pasado un tiempo determinado En realidad es simplemente una ventan que conjuga las dos ventanas típicas que flink ofrece por defecto. Para hacer......

Read More

ZYLK launches a video introducing its Industry 4.0 services

avatar
David Olmos Oct 12, 2016
Zylk

Last week ZYLK INDUSTRY, part of zylk ADVANCED ANALYTICS product line, had to pitch their Industry 4.0 project to 10 Industrial companies. Do you want to watch our vídeo?...

Read More

ZYLK Industry Advanced Analytics participa en el reto Velatia - Ormazabal

avatar
David Olmos Oct 04, 2016
Zylk

El viernes 30 de septiembre ZYLK Advanced Analytics se presentó al reto Velatia (Grupo Ormazabal) enmarcado dentro del programa de Innovación Abierta de Bizkaia Open Future, impulsado por la diputación de Bizkaia y Telefónica. Zylk propone soluciones para la monitorización remota de máquinas aisladas así como elementos de seguridad IT para las mismas. Así mismo dispone de una herramienta de monitorización predictiva en tiempo real para los centros de datos de su organización. ZYLK Advanced......

Read More

ZYLK Industry Advanced Analytics wants to accelerate its growth via BIND 4.0

avatar
David Olmos Sep 17, 2016
Zylk

Bind 4.0 is a public-private acceleration program that lasts 24 weeks and takes place in the Basque Country. It focuses on Industry 4.0 early-stage startups involved in big data, additive manufacturing, artificial vision, cloud computing, augmented reality, cybersecurity, cyberphysical systems and/or collaborative robotics. They offer “A contract with one of our top industry firm partners for the development of an Industry 4.0 project.” and that is what we wanted the most. We already work for......

Read More

Zylk Industry is here Big Data and IoT together

avatar
David Olmos Sep 02, 2016
Zylk

Zylk Industry is here. Big Data and IoT together for our customers. your industry is full of data, are you aware of that? ZYLK Industry is a project that was born 2 years ago from the Big Data Team experience in Energy, Automotive, and Telecomunications industries. Our team is formed by professionals with extensive experience in Big Data, IoT, telecommunications, front-end interfaces and data analytics. ZYLK Industry has given a step foward and has developed a non-intrusive 360º data......

Read More

Visión general de una arquitectura de microservicios basada en yarn

avatar
Gustavo Fernández Jan 11, 2016
Zylk

Siguiendo con la evolución de las arquitecturas orientadas a servicios ... ahí va un gráfico que completa la visión general explicada en anteriores post Los servicios son servicios modelados con avro/RP y pueden operar en tres modalidades POJOs Como servicio RPC en local Como servicio RPC en un cluster de yarn (escalado, tolerancia a fallos etc..)...

Read More

Avro RCP yarn and slider

avatar
Gustavo Fernández Nov 29, 2015

Siguiendo con los artículos relacionados con YARN, SLIDER y arquitecturas relacionadas con BigData mostramos a continuación una posible arquitectura basda en los siguientes tres elementos YARN SLIDER AVRO RPC Donde lo importante es que con este tipo de arquitectura podríamos disponer de servicios con las caraterísticas indicadas Resilence (http://hortonworks.com/blog/rm-yarn-resilience/) Elastic (https://slider.incubator.apache.org/) Horizontal Scaling (http://hortonworks.com/hadoop/slider/)......

Read More

Usando yarn y slider para levantar procesos en un cluster de hortonworks

avatar
Gustavo Fernández Nov 22, 2015

Siguiendo con las pruebas y las arquitecturas relacionados con bigdata vamos a inspeccionar las capacidades de yarn para levantar procesos en un cluster HDP. Lo primero que habría que introducir es el producto yarn. De la página siguiente de hortonworks podemos obtener la siguiente definición YARN is the prerequisite for Enterprise Hadoop, providing resource management and a central platform to deliver consistent operations, security, and data governance tools across Hadoop clusters. YARN......

Read More

Ambari hortonworks stacks and services solrCloud for liferay

avatar
Gustavo Fernández Nov 01, 2015

Siguiendo con el post de ayer y después de unos mínimos ajustes en los scripts del stack, ya podemos crear un cluster de solr (tipo cloud) y crear en él una collection con dos shards y factor de replica 2. Para ellos basta con ejecutar el siguiente comando en alguno de los nodos gestionados desde ambari ./bin/solr create_collection -c liferay-collection -shards 2 -replicationFactor 2 Este comando crea una collection con dos shards y replica 2 llamada liferay-collection que la usaremos más......

Read More

Ambari hortonworks stacks and services

avatar
Gustavo Fernández Oct 31, 2015

Dentro del proyecto ambari[0] hay dos partes que son claramente extensibles. Las vistas[1] Los stacks services[2] En este artículo vamos a ver, muy someramente, para que creemos que se pueden usar los stacks y un ejemplo de stack para gestionar un motor de búsqueda como solr[3]. Según el propio proyecto ambari la definición de un stack es Ambari supports the concept of Stacks and associated Services in a Stack Definition. By leveraging the Stack Definition, Ambari has a consistent and......

Read More

Zylk.net is an official Hortonworks Partner

avatar
zylk administrator Sep 17, 2015
Zylk

Hortonworks es una solución de Apache Hadoop Enterprise (os dejo un link a un vídeo explicativo) que garantiza que la entrada de empresas y administraciones públicas a la explotación del universo BigData se haga de una manera fiable, con soporte profesional, y basada en soluciones opensource. En estos momentos, es uno de los players del mercado con mayor crecimiento. La empresa fue fundada en 2011 por un equipo proveniente de Yahoo y en estos momentos cotiza en el NASDAQ como podéis comprobar......

Read More

Monitorizando el cluster de hadoop y kafka con Ganglia

avatar
Gustavo Fernández Jan 05, 2015

Siguiendo con los artículos anteriores relacionados con los nuevos paradigmas del desarrollo, hemos montado en el laboratorio donde hacemos las pruebas, en zylk.net, un sistema de monitorización para tener métricas de los siguientes productos Sistema operativo HDFS MAP&REDUCE (yarn) Hbase Kafka Todos estos productos ya los hemos ido describiendo en anteriores entradas del blog y ahora lo que hemos hecho es agrupar todas las metrircas que los mismos producen y almacenarlas usando el siguiente......

Read More

Configurando liferay para que deje las trazas en colas de kafka

avatar
Gustavo Fernández Dec 18, 2014

Siguiendo con las pruebas de los productos mencionados en anteriores post, una de las cosas más o menos sencillas que se puede hacer es, configurar los distintos productos que usan log4j para añadirles un nuevo appender de tipo cola de kafka. El propio proyecto de kafka trae un appender para log4j Para hacer uso del mismo basta con hacer tres cosas Añadir los siguientes jars al ROOT/WEB-INF/lib de liferay kafka_2.10-0.8.1.1.jar metrics-core-2.2.0.jar scala-library.jar Crear una cola (tipo......

Read More

Seguimos jugando con phoenix

avatar
Gustavo Fernández Nov 17, 2014

Siguiendo con el anterior post relacionado con Phoenix, he estado probando más características que hay que evaluar para ver hasta donde nos puede llevar Phoenix + Hbase+ Pentaho + Saiku. 1) Herramientas de bulk 2) Rendimeinto de las queries 3) Creación de índices secundarios 4) Análisis de los planes de ejecución de las queries En la imagen podemos ver los resultados de los juegos ... la verdad es que apunta maneras. La siguiente prueba consistirá en recoger los datos de un proyecto típico de......

Read More
— 20 Items per Page
Showing 21 - 40 of 47 results.