Entradas con zylk-blog hortonworks times .

Actualidad

Cubos OLAP con hbase, pentaho, saiku y phoenix

avatar
Gustavo Fernández Nov 07, 2014

Hace unos meses que el proyecto phoenix ha salido de la incubadora de apache. Por esta razón he decidido hacer unas pruebas de concepto para ver como se podría integrar los cubos R-OLAP basados en mondrian y consumidos desde la interfaz de saiku como componente de servidor de pentaho. ¿por qué puede ser interesante esto?. Mondrian es un proyecto que traduce queries MDX a SQL Phoenix es un proyecto que traduce queries SQL a queries de HBase Por tanto integrando phoenix en pentaho podríamos......

Leer más

Cargando librerias nativas para hadoop 2, come evitar el WARNING Unable to load native-hadoop library

avatar
Gustavo Fernández Aug 27, 2014

Siguiendo con los posts anteriores (I, II) relacionados con el laboratorio de hadoop 2, el primer post dejé un warning en el arranque de hdfs sin resolver. El warning está relacionado con el uso de librerías nativas del sistema operativo para los procesos de compresión y descompresión. Parece que estos procesos realizados por medio de código java son un 40% más lentos que si los realizan los comandos nativos del sistema operativo. Así que hemos montado el laboratiorio para que haga uso de......

Leer más

Montando un laboratorio de big-data basado en hadoop 2 servicios arrancados

avatar
Gustavo Fernández Aug 26, 2014

Siguiendo con el post anterior, los servicios que al final hemos arrancado, y la forma de arrancarlos es la siguiente: Arrancar el filesystem distribuido, el yarn y el servidor de histórico de tares realizadas por yarn >>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-dfs.sh >>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-yarn.sh >>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./mr-jobhistory-daemon.sh start historyserver Arrancar el gateway de nfs >>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ sudo ./hdfs......

Leer más

Montando un laboratorio de big data basado en Hadoop 2

avatar
Gustavo Fernández Aug 25, 2014

LLevamos ya un tiempo usando el llamado zoo de hadoop para hacer algunos proyectos relacionados con big-data. Hasta ahora siempre hemos usado la versión de hadoop 1.x porque era la versión con la que empezamos a hacer las pruebas de concepto. Pero como parece ya seguro que hadoop ha venido para quedarse no está de más hacer pruebas con las nuevas versiones. En concreto hemos montado un laboratorio de hadoop con última versión estable, que a día de hoy es la 2.5. La hemos montado para analizar......

Leer más

Usando hadoop para intercambio masivo de ficheros en un contexto de big data II

avatar
Gustavo Fernández Jul 03, 2013

Uno de los últimos proyectos en los que ha estado trabajando el equipo ha sido la segunda parte del proyecto relacionado con el intercambio de ficheros usando HADOOP comentado en el post Usando hadoop para intercambio masivo de ficheros en un contexto de big data. El equipo responsable del desarrollo ha sido el mismo que en el caso anterior. Por parte de EJIEOscar Guadilla en la definición de la arquitectura y gestión del proyecto, Carlos Gonzalez de Zarate y Roberto Tajada en la parte de......

Leer más

Big data explorando los nuevos paradigmas del desarrollo

avatar
Gustavo Fernández Jul 02, 2013

El pasado día 6 de Junio asistimos a una jornada de introducción al Big Data en enpresadigitala donde Jorge Ubero nos introdujo en el paradigma de Big Data. Y es que tal y como dijo Eric Schmidt (CEO de Google) cada día producimos tanto contenido como produjo toda la humanidad desde hace 2000. Esto son aproximadamente unos 2.5 Exabytes de datos procesables cada día. Esto hace que el modelo de escalabilidad vertical, presente en la mayor parte de los proyectos, con sus arquitecturas de CPD......

Leer más

Usando hadoop para intercambio masivo de ficheros en un contexto de big data

avatar
Gustavo Fernández Jan 05, 2012

Durante los últimos tres meses en zylk hemos estado desarrollando, conjuntamente con personal de EJIE (Oscar Guadilla en la definición de la arquitectura y gestión del proyecto, Carlos Gonzalez de Zarate y Roberto Tajada en la parte de platea integración y Juan Uralde en la parte de xlnets) , una aplicación horizontal para el intercambio temporal de ficheros. La problemática que se quería resolver era la siguiente: Disponer de un sistema para que las distintas aplicaciones, situadas en los......

Leer más
— Resultados por página
Mostrando el intervalo 41 - 47 de 47 resultados.