Una de las características más interesantes de la versión 3 de hadoop es la evolución que ha sufrido yarn La versión 1 de hadoop estaba orientada a Map&Reduce En la versión 2 se reescribió el motor de gestión de recursos de map&reduce y pasó a ser un motor general de gestión de recursos y se llamó YARN (Yet Another Resaource Negociator) En la versión 3 se ha seguido potenciando YARN para que sea capaz de gestionar no solo la CPU y la memoria del cluster. También es ahora capaz de gestionar ......

Zylk.net afronta 2017 con crecimiento en varías de sus áreas. Por un lado ya sabéis que estamos trabajando en el desarrollo de una nueva startup apoyada por el programa BIND en el ámbito de BigData y por otro tenemos nuevos clientes en la áreas de portales demandando más servicios con Alfresco y Liferay. Es por ello que abrimos un nuevo proceso de selección; buscamos 4 perfiles que entrarán a formar parte del equipo de desarrollo para proyectos en curso 2017 y otros en cartera, con......

La cita, que prevé reunir a más de 1.500 expertos y responsables de compañías, estará orientada a los nuevos retos de la Industria 4.0 y del sector Financiero. La VI edición del Congreso Nacional pretende dar respuesta a través del software libre y las tecnologías abiertas a los nuevos retos de la Industria 4.0, previstos para el primer día, así como de la banca online (Open Finances), contenidos programados para la segunda jornada. LibreCon 2016, organizada por la Federación Nacional de......

Siguiendo con los posts anteriores (I, II) relacionados con el laboratorio de hadoop 2, el primer post dejé un warning en el arranque de hdfs sin resolver. El warning está relacionado con el uso de librerías nativas del sistema operativo para los procesos de compresión y descompresión. Parece que estos procesos realizados por medio de código java son un 40% más lentos que si los realizan los comandos nativos del sistema operativo. Así que hemos montado el laboratiorio para que haga uso de......

Siguiendo con el post anterior, los servicios que al final hemos arrancado, y la forma de arrancarlos es la siguiente: Arrancar el filesystem distribuido, el yarn y el servidor de histórico de tares realizadas por yarn >>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-dfs.sh >>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-yarn.sh >>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./mr-jobhistory-daemon.sh start historyserver Arrancar el gateway de nfs >>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ sudo ./hdfs......

Uno de los últimos proyectos en los que ha estado trabajando el equipo ha sido la segunda parte del proyecto relacionado con el intercambio de ficheros usando HADOOP comentado en el post Usando hadoop para intercambio masivo de ficheros en un contexto de big data. El equipo responsable del desarrollo ha sido el mismo que en el caso anterior. Por parte de EJIEOscar Guadilla en la definición de la arquitectura y gestión del proyecto, Carlos Gonzalez de Zarate y Roberto Tajada en la parte de......