Open IT Experts for Enterprise
LLevamos ya un tiempo usando el llamado zoo dehadoop para hacer algunos proyectosrelacionados con big-data.Hasta ahora siempre hemos usado la versión de hadoop 1.x porque era laversión con la que empezamos a hacer las pruebas de concepto. Perocomo parece ya seguro que hadoop ha venido para quedarse noestá de más hacer pruebas con las nuevas …
Montando un laboratorio de big data basado en Hadoop 2 Leer más »
Siguiendo con los posts anteriores (I,II)relacionados con el laboratorio de hadoop 2, elprimer post dejé un warning en el arranque de hdfs sin resolver. Elwarning está relacionado con el uso de librerías nativas del sistemaoperativo para los procesos de compresión y descompresión. Parece queestos procesos realizados por medio de código java son un 40% máslentos …
Siguiendo con el anterior post relacionado con Phoenix, he estado probando más características que hay que evaluar para ver hasta donde nos puede llevar Phoenix + Hbase+ Pentaho + Saiku. 1) Herramientas de bulk 2) Rendimeinto de las queries 3) Creación de índices secundarios 4) Análisis de los planes de ejecución de las queries En …
Hace unos meses que el proyecto phoenix ha salido de la incubadora de apache. Por esta razón he decidido hacer unas pruebas de concepto para ver como se podría integrar los cubos R-OLAP basados en mondrian y consumidos desde la interfaz de saiku como componente de servidor de pentaho. ¿por qué puede ser interesante esto?. …
Siguiendo con los artículos anteriores relacionados con los nuevos paradigmas del desarrollo, hemos montado en el laboratorio donde hacemos las pruebas, en zylk.net, un sistema de monitorización para tener métricas de los siguientes productos Sistema operativo HDFS MAP&REDUCE (yarn) Hbase Kafka Todos estos productos ya los hemos ido describiendo en anteriores entradas del blog y …
Monitorizando el cluster de hadoop y kafka con Ganglia Leer más »
Siguiendo con las pruebas de los productos mencionados en anteriores post, una de las cosas más o menos sencillas que se puede hacer es, configurar los distintos productos que usan log4j para añadirles un nuevo appender de tipo cola de kafka. El propio proyecto de kafka trae un appender para log4j Para hacer uso del …
Configurando liferay para que deje las trazas en colas de kafka Leer más »
Siguiendo con el post de ayer y después de unos mínimos ajustes en los scripts del stack, ya podemos crear un cluster de solr (tipo cloud) y crear en él una collection con dos shards y factor de replica 2. Para ellos basta con ejecutar el siguiente comando en alguno de los nodos gestionados desde …
Ambari hortonworks stacks and services solrCloud for liferay Leer más »
Dentro del proyecto ambari[0] hay dos partes que son claramente extensibles. Las vistas[1] Los stacks services[2] En este artículo vamos a ver, muy someramente, para que creemos que se pueden usar los stacks y un ejemplo de stack para gestionar un motor de búsqueda como solr[3]. Según el propio proyecto ambari la definición de …
Siguiendo con los artículos relacionados con YARN, SLIDER y arquitecturas relacionadas con BigData mostramos a continuación una posible arquitectura basda en los siguientes tres elementos YARN SLIDER AVRO RPC Donde lo importante es que con este tipo de arquitectura podríamos disponer de servicios con las caraterísticas indicadas Resilence (http://hortonworks.com/blog/rm-yarn-resilience/) Elastic (https://slider.incubator.apache.org/) Horizontal Scaling (http://hortonworks.com/hadoop/slider/) Packaging …
Siguiendo con las pruebas y las arquitecturas relacionados con bigdata vamos a inspeccionar las capacidades de yarn para levantar procesos en un cluster HDP. Lo primero que habría que introducir es el producto yarn. De la página siguiente de hortonworks podemos obtener la siguiente definición YARN is the prerequisite for Enterprise Hadoop, providing resource management …
Usando yarn y slider para levantar procesos en un cluster de hortonworks Leer más »
Como crear una arquitectura de microservicios usando hadoop-yarn Siguiendo con la evolución de las arquitecturas orientadas a servicios … ahí va un gráfico que completa la visión general explicada en anteriores post Los servicios son servicios modelados con avro/RP y pueden operar en tres modalidades POJOs Como servicio RPC en local Como servicio RPC en …
Visión general de una arquitectura de microservicios basada en yarn Leer más »
Zylk Industry is here. Big Data and IoT together for our customers. your industry is full of data, are you aware of that? ZYLK Industry is a project that was born 2 years ago from the Big Data Team experience in Energy, Automotive, and Telecomunications industries. Our team is formed by professionals with extensive experience …
Hortonworks es una solución de Apache Hadoop Enterprise (os dejo un link a un vídeo explicativo) que garantiza que la entrada de empresas y administraciones públicas a la explotación del universo BigData se haga de una manera fiable, con soporte profesional, y basada en soluciones… Hortonworks es una solución de Apache Hadoop Enterprise (os dejo …