Actualidad

Vamos a empezar desde el principio explicando brevemente en que consiste ese término que se ha puesto tan de moda “Big Data”. Big Data no es más que un conjunto masivo de datos generados cada día por organizaciones y empresas cuya gestión es extremadamente compleja y que hasta la fecha eran desperdiciados no pudiendo sacar ninguna conclusión de ellos. Por eso nació la herramienta Apache Hadoop, que permite el almacenamiento distribuido y el procesamiento de grandes conjuntos de datos en base......

He estado haciendo este fin de semana unas pruebas de concepto para poder usar solrCloud, en su última versión, conjuntamente con el crawler nutch, también en su última versión. He encontrado muchos documentos explicando cómo configurar el sistema con solr normal pero no para usarlos con solrCloud. Voy a describir, someramente, un conjuntode tips que he aprendido este fin de semana mientras he realizado la prueba de concepto. Lo primero que hay que tener instalado y configurado es Nutch 1.13,......

La primera edición de BIND 4.0 concluye el próximo 5 de mayo con un demo day en el que tanto empresas industriales como inversores y medios de comunicación podrán contactar con las 11 startups participantes. Durante esta jornada las startups participantes presentarán sus proyectos junto con las empresas industriales a las que han aportado talento y soluciones innovadoras para mejorar su actividad. En nuestro caso desde Zylk Industry Advanced Analytics os contaremos la propuesta de BigData......

Siguiendo estos dos artículos de internet, uno donde se explica como crear un modelo aplicando el algoritmo no supervisado de clusterización (KMeans) y el otro, donde se explica usar Apache Spark desde el notebook zeppelin, he creado un ejemplo que mezcla ambos. Para poder ejecutarlo en el laboratorio de de bigdata que tenemos montado. Lo que se ha hecho ha sido lo siguiente Cargar los datos de los bancos Seleccionar dos de sus características (edad, balance) y usarlas como features para el......

La notación de la shell de hbase es bastante poco amigable, por un lado porque la forma de escribir las sentencias es poco intuitiva, al principio, y por otro lado porque los valores son simpre arrays de bytes. Por tanto la salida de un comando suele leerse mal, sobre todo si lo que se ha almacenado no son los bytes de un string 100316046_2017_2_1 column=23:1485991943_latitud, timestamp=1486109715526, value=@Ea\x04;nS\x85 100316046_2017_2_1 column=23:1485991943_longitud,......

Dentro de un proyecto de bigdata que estamos haciendo hemos usado como notebook del proyecto, zeppelin de apache. El ecosistema completo incluye ambari 2.2 y el HDP-2.4. La cuestión es que justo este intérprete parece que tiene un bug para esta versión y que no funciona correctamente. Para hacelo funcionar hemos tenido que modificar dos cosas Cambiar las librerías de hbase que incluye el interprete por las de la versión de HDP-2.4 Añadir la siguiente variable de entorno al scritp de arranque......

Hi, I uploaded the curl command based shell scripts using the Ambari REST API in the last posts into a small project in github. Here the code and examples: https://github.com/zylklab/ambari-shell-tools  ...

Keeping on curl based commands from Ambari REST API, it is also possible start and stop services of your Big Data cluster, and not only to collect metrics from Ambari. For example,  ambari-service.sh [start|stop|check] a given service: cesar@lemmy ~/local/ambari $ ./ambari-service.sh Usage: ambari-service.sh [ZOOKEEPER|HDFS|YARN|MAPREDUCE2|HBASE|HIVE|SPARK|KAFKA|FLINK|ZK-NIFI|ZEPPELIN] [start|stop|check] Available services: "AMBARI_METRICS" "FLINK" "HBASE" "HDFS" "HIVE" "KAFKA" "MAPREDUCE2"......

Last day, we tried some curl commands to check Ambari metrics of our Big Data cluster. The next step for using these metrics collected in Ambari Server is to include them in a Nagios / Icinga server for getting email alerts and the usual monitoring stuff. A simple example may be something like to obtain Ambari alerts summary (Note: this can be improved a lot, it is just a probe of concept). check_ambari_alerts_summary.sh #!/bin/bash SERVER=$1 PORT=$2 USERNAME=$3 PASSWORD=$4 CLUSTERNAME=$5......

During last days, I started to play with an Ambari cluster, based on the Hortonworks distribution. Ambari provides an agile interface for starting/stopping services in the cluster, modify configurations, and monitoring the different hosts and services of the cluster, providing alerts and metrics. Besides, Ambari provides a REST API for consuming the collected metrics and managing the cluster. This REST API is used in very interesting projects for monitoring a Big Data cluster (from the......

Siguiendo con el uso de ventanas en flink,  vamos a modelar la generación de eventos para poder detectar que un stream concreto se está desviando de su funcionamiento normal. Por ejemplo vamos suponer que tenemos un stream que emite un evento cada vez que una persona añade un artículo a un carrito de la compra en una página web, y queremos detectar posibles problemas en el proceso. Para ello podemos hacer lo siguiente: Consumir dicho stream desde flink Crear una ventana que nos sume el número......

En un proyecto, en el que estamos involucrados y en el que estamos usando flink para el procesado de streams, hemos tenido que investigar como desarrollar una ventana de procesado personalizada. En este caso una ventana muy sencilla que consiste en disparar los eventos bajo dos circuntancias Cuando han entrado un número de eventos concreto Cuando ha pasado un tiempo determinado En realidad es simplemente una ventan que conjuga las dos ventanas típicas que flink ofrece por defecto. Para hacer......

Last week ZYLK INDUSTRY, part of zylk ADVANCED ANALYTICS product line, had to pitch their Industry 4.0 project to 10 Industrial companies. Do you want to watch our vídeo?...

El viernes 30 de septiembre ZYLK Advanced Analytics se presentó al reto Velatia (Grupo Ormazabal) enmarcado dentro del programa de Innovación Abierta de Bizkaia Open Future, impulsado por la diputación de Bizkaia y Telefónica. Zylk propone soluciones para la monitorización remota de máquinas aisladas así como elementos de seguridad IT para las mismas. Así mismo dispone de una herramienta de monitorización predictiva en tiempo real para los centros de datos de su organización. ZYLK Advanced......

Bind 4.0 is a public-private acceleration program that lasts 24 weeks and takes place in the Basque Country. It focuses on Industry 4.0 early-stage startups involved in big data, additive manufacturing, artificial vision, cloud computing, augmented reality, cybersecurity, cyberphysical systems and/or collaborative robotics. They offer “A contract with one of our top industry firm partners for the development of an Industry 4.0 project.” and that is what we wanted the most. We already work for......

Zylk Industry is here. Big Data and IoT together for our customers. your industry is full of data, are you aware of that? ZYLK Industry is a project that was born 2 years ago from the Big Data Team experience in Energy, Automotive, and Telecomunications industries. Our team is formed by professionals with extensive experience in Big Data, IoT, telecommunications, front-end interfaces and data analytics. ZYLK Industry has given a step foward and has developed a non-intrusive 360º data......

Siguiendo con la evolución de las arquitecturas orientadas a servicios ... ahí va un gráfico que completa la visión general explicada en anteriores post Los servicios son servicios modelados con avro/RP y pueden operar en tres modalidades POJOs Como servicio RPC en local Como servicio RPC en un cluster de yarn (escalado, tolerancia a fallos etc..)...

Siguiendo con los artículos relacionados con YARN, SLIDER y arquitecturas relacionadas con BigData mostramos a continuación una posible arquitectura basda en los siguientes tres elementos YARN SLIDER AVRO RPC Donde lo importante es que con este tipo de arquitectura podríamos disponer de servicios con las caraterísticas indicadas Resilence (http://hortonworks.com/blog/rm-yarn-resilience/) Elastic (https://slider.incubator.apache.org/) Horizontal Scaling (http://hortonworks.com/hadoop/slider/)......

Siguiendo con las pruebas y las arquitecturas relacionados con bigdata vamos a inspeccionar las capacidades de yarn para levantar procesos en un cluster HDP. Lo primero que habría que introducir es el producto yarn. De la página siguiente de hortonworks podemos obtener la siguiente definición YARN is the prerequisite for Enterprise Hadoop, providing resource management and a central platform to deliver consistent operations, security, and data governance tools across Hadoop clusters. YARN......

Siguiendo con el post de ayer y después de unos mínimos ajustes en los scripts del stack, ya podemos crear un cluster de solr (tipo cloud) y crear en él una collection con dos shards y factor de replica 2. Para ellos basta con ejecutar el siguiente comando en alguno de los nodos gestionados desde ambari ./bin/solr create_collection -c liferay-collection -shards 2 -replicationFactor 2 Este comando crea una collection con dos shards y replica 2 llamada liferay-collection que la usaremos más......