Entradas con etiqueta hadoop times .

Actualidad

Dockers en YARN usando HDP 3

avatar
Gustavo Fernández Oct 20, 2018
Zylk

Una de las características más interesantes de la versión 3 de hadoop es la evolución que ha sufrido yarn La versión 1 de hadoop estaba orientada a Map&Reduce En la versión 2 se reescribió el motor de gestión de recursos de map&reduce y pasó a ser un motor general de gestión de recursos y se llamó YARN (Yet Another Resaource Negociator) En la versión 3 se ha seguido potenciando YARN para que sea capaz de gestionar no solo la CPU y la memoria del cluster. También es ahora capaz de gestionar ......

Leer más

¿Quieres formar parte de nuestro equipo?

avatar
Pilar Peña Jan 03, 2017
Zylk

Zylk.net afronta 2017 con crecimiento en varías de sus áreas. Por un lado ya sabéis que estamos trabajando en el desarrollo de una nueva startup apoyada por el programa BIND en el ámbito de BigData y por otro tenemos nuevos clientes en la áreas de portales demandando más servicios con Alfresco y Liferay. Es por ello que abrimos un nuevo proceso de selección; buscamos 4 perfiles que entrarán a formar parte del equipo de desarrollo para proyectos en curso 2017 y otros en cartera, con......

Leer más

Zylk participará en LibreCon 2016

avatar
Pilar Peña Nov 02, 2016
Zylk

La cita, que prevé reunir a más de 1.500 expertos y responsables de compañías, estará orientada a los nuevos retos de la Industria 4.0 y del sector Financiero. La VI edición del Congreso Nacional pretende dar respuesta a través del software libre y las tecnologías abiertas a los nuevos retos de la Industria 4.0, previstos para el primer día, así como de la banca online (Open Finances), contenidos programados para la segunda jornada. LibreCon 2016, organizada por la Federación Nacional de......

Leer más

Cargando librerias nativas para hadoop 2, come evitar el WARNING Unable to load native-hadoop library

avatar
Gustavo Fernández Aug 27, 2014

Siguiendo con los posts anteriores (I, II) relacionados con el laboratorio de hadoop 2, el primer post dejé un warning en el arranque de hdfs sin resolver. El warning está relacionado con el uso de librerías nativas del sistema operativo para los procesos de compresión y descompresión. Parece que estos procesos realizados por medio de código java son un 40% más lentos que si los realizan los comandos nativos del sistema operativo. Así que hemos montado el laboratiorio para que haga uso de......

Leer más

Montando un laboratorio de big-data basado en hadoop 2 servicios arrancados

avatar
Gustavo Fernández Aug 26, 2014

Siguiendo con el post anterior, los servicios que al final hemos arrancado, y la forma de arrancarlos es la siguiente: Arrancar el filesystem distribuido, el yarn y el servidor de histórico de tares realizadas por yarn >>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-dfs.sh >>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-yarn.sh >>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./mr-jobhistory-daemon.sh start historyserver Arrancar el gateway de nfs >>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ sudo ./hdfs......

Leer más

Usando hadoop para intercambio masivo de ficheros en un contexto de big data II

avatar
Gustavo Fernández Jul 03, 2013

Uno de los últimos proyectos en los que ha estado trabajando el equipo ha sido la segunda parte del proyecto relacionado con el intercambio de ficheros usando HADOOP comentado en el post Usando hadoop para intercambio masivo de ficheros en un contexto de big data. El equipo responsable del desarrollo ha sido el mismo que en el caso anterior. Por parte de EJIEOscar Guadilla en la definición de la arquitectura y gestión del proyecto, Carlos Gonzalez de Zarate y Roberto Tajada en la parte de......

Leer más
— Resultados por página
Mostrando 6 resultados.