Almacenamiento tipo volume/bucket compatible con HDFS y S3 Llevo bastante tiempo sin escribir nada técnico relacionado con el mundo del la analítica de datos y el bigdata. En zylk hemos seguido trabajando con el ecosistema de apache hadoop (hive, yarn, hdfs etc..) y como siempre también hemos estado siguiendo algunos proyectos de la fundación apache …
Como crear mapas personalizados usando zeppelin/spark y plotly Una de las cosas que se suelen hacer cuando se está haciendo un análisis avanzado de datos es representar los mismos, tanto desde el punto de vista de la fase exploratoria como desde el punto de vista del uso de los resultados de los modelos aplicados. Dentro …
Creando mapas personalizados para el análisis de datos Leer más »
Como procesar de manera óptima los ficheros con columnas de tamaño fijo usando expresiones Grok en NiFi Supongamos que tenemos un conjunto de ficheros que se han generado con un programa que exporta los datos de las columnas con un tamaño fijo. Por ejemplo un programa que exporta los siguientes cuatro campos FechaAlta (YYYYMMDD) 8 …
Procesando ficheros con columnas de tamaño fijo con NiFi Leer más »
Consumiendo mensajes en NiFi enviados por UDP y serializados en AVRO Siguiendo con las pruebas de concepto de desacople de procesos usando NiFi hay otro caso que es bastante interesante y que se puede implementar con NiFI. Imaginemos que tenemos un caso de uso en el que la garantía de entrega no es importante, en …
Como montar un sistema de comunicación asíncrono usando NiFi Hace unos días estuve hablando sobre la posibilidad de desacoplar las peticiones de una aplicación web, de la ejecución de la tarea en el servidor. Las aplicaciones web que se ejecutan sobre protocolo http, orientado a petición/respuesta. En una arquitectura clásica, tienen un problema de base …
-1024x205.png "Recargar grupos en hadoop")
Como actualizar los grupos de una plataforma de hadoop integrada con sssd sin reiniciar servicios Para que los cambios en los grupos se vean reflejados, por ejemplo si hemos añadido un nuevo grupo al sistema operativo o al LDAP (si tenemos configurado el servicio SSSD), en el cluster de hadoop lo que hay que hacer …
Usando un cluster hadoop para levantar containers de docker. Una de las características más interesantes de la versión 3 de hadoop es la evolución que ha sufrido yarn La versión 1 de hadoop estaba orientada a Map&Reduce En la versión 2 se reescribió el motor de gestión de recursos de map&reduce y pasó a ser …
Usando expresiones Grok para el mapeo y Hive para su explotación posterior En esta ocasión vamos a hacer una prueba de cómo se pueden procesar de manera sencilla, para su posterior explotación con HIVE, los logs de un servidor apache usando Expresiones Grok Records de Nifi (Avro) Ficheros ORC El punto de partida es un …
-1024x335.png "Integrando el email con taiga (NIFI)")
registrando las incidencias que llegan por mail en taiga usando flujos de nifi En Zylk usamos la herramienta taiga para la gestión de los proyectos y el módulo de issues para los evolutivos asociados a los mismos. Los clientes suelen tener acceso al módulo de issues para registrar las incidencias y poder luego incluirlas en …
Tips de configuración He estado haciendo este fin de semana unas pruebas de concepto para poder usar solrCloud, en su última versión, conjuntamente con el crawler nutch, también en su última versión. He encontrado muchos documentos explicando cómo configurar el sistema con solr normal pero no para usarlos con solrCloud. Voy a describir, someramente, un …
Cómo configurar Nutch 1.13 para que use SolrCloud 6.6.0 Leer más »
Aplicando KMeans en el análisis de datos Siguiendo estos dos artículos de internet, uno donde se explica como crear un modelo aplicando el algoritmo no supervisado de clusterización (KMeans) y el otro, donde se explica usar Apache Spark desde el notebook zeppelin, he creado un ejemplo que mezcla ambos. Para poder ejecutarlo en el laboratorio …
Formateando el valor de una columna al realizar un hbase get La notación de la shell de hbase es bastante poco amigable, por un lado porque la forma de escribir las sentencias es poco intuitiva, al principio, y por otro lado porque los valores son simpre arrays de bytes. Por tanto la salida de un …
Configurando el intérprete de zeppelin para hbase en hdp 2.4 Dentro de un proyecto de bigdata que estamos haciendo hemos usado como notebook del proyecto, zeppelin de apache. El ecosistema completo incluye ambari 2.2 y el HDP-2.4. La cuestión es que justo este intérprete parece que tiene un bug para esta versión y que no …
Aplicando una regresion lineal a un stream Siguiendo con el uso de ventanas en flink, vamos a modelar la generación de eventos para poder detectar que un stream concreto se está desviando de su funcionamiento normal. Por ejemplo vamos suponer que tenemos un stream que emite un evento cada vez que una persona añade un …
-1024x335.png "Flink procesado de streams i")
Procesado streams con ventanas personalizadas usando Flink En un proyecto, en el que estamos involucrados y en el que estamos usando flink para el procesado de streams, hemos tenido que investigar como desarrollar una ventana de procesado personalizada. En este caso una ventana muy sencilla que consiste en disparar los eventos bajo dos circuntancias Cuando …
En general siempre me ha gustado leer filosofía, desde Nietzsche y Foucault en el colegio, a Lipovetsky y Agustin García Calvo en la universidad. El mes pasado me leí el siguiente libro La salvación de lo bello, del filósofo Byung-Chul Han. Me ha resultado tremendamente interesante. Normalmente no escribo sobre estos temas en este blog, …
Publicada una nueva versión de sinadura con características para su uso en aplicaciones web Han pasado varios años desde que sacamos la última versión (mayor) estable de sinadura Desktop, la 4.2. Ayer por fin sacamos un rato para publicar la nueva versión del software de firma de PDFs, Facturas etc… En esencia tiene las mismas características que las versiones …
Ya hace algunos meses que la versión 5.x de liferay. Entre lascaracterísticas más interesantes de la nueva versión podemos destacarla implementación de la especificación jsr286,algo así como la versión 2 del estandard de portlets. Lo másdestacable de esta nueva especificación a mi modo de ver sería: Los nuevos mecanismos de intercomunicación entre portlets(Listener pattern, Render …
En la útima versión de liferay se ha modificado el motor de indexación/búsqueda por un conjunto de interfaces para poder añadir cualquier motor de búsquedas distinto del sistema que trae por defecto, lucene. Este nuevo sistema permite utilizar otros motores de indexación, sin más que implementar un conjunto de interfaces y utilizar la capa de …
La versión 6 de java SE dispone de un mecanismo para extender el sistema de internacionalización y poder crear nuevos locales, formatos de fecha etc… Gracias a esta modelo de extensiónes vamos a poder traducir los iso code eu_ES a euskara y hacer uso de los formatos de fecha propios (asteartea, 2008ko azaroaren 11a etc..) …
Parece que la versión Social Office de Liferay tiene una versión beta disponible para su descarga. Las características de esta versión, que todavía no he probado, según la propia página de Liferay son: Integration with Microsoft Office Work from your desktop Shared Calendars, built-in IM and email Group collaboration tools like blogs, wikis and message boards …
Siguiendo con el artículo recientemente publicado por Cesar, vamos a dar los tips para monitorizar algun mbean específico de Liferay, en vez de monitorizar un atributo general de la maquina virtual. Para ello accedemos a jconsole y localizamos el mbean que queremos monitorizar, En el caso que nos ocupa, hemos localizado el bean que tiene …
Una de las características que puden resultar interesantes a la hora de integrar servicios dentro de un gestor de portales es la posibilidad de integrar las búsquedas de los servicios ofrecidos por el portal en un buscador único. Para cubrir esta necesidad liferay propone el uso de OpenSearch. Como ejemplo de implementación de esta característica …
Una de las cosas que se han mejorado en el core delproducto sinadura ha sido lacarga de certificados y el proceso de firma. Paratestar esta mejora hemos realizado las siguientes pruebas. Firmar 100 documentos sin TSA y sin validación OCSP con el dni electrónico Firmar 100 documentos sin TSA y sin validación OCSP con la …
Algunas pruebas de rendimiento en sinadura 2.0 (benchmark) Leer más »
Ayer estabamos haciendo las pruebas de una aplicación web sobre los distintintos navegadores y el binomio windows 7 e ie8 nos sorprendió gratamente en dos aspectos: visualizacion de .odt (formato abierto de documentos ofimáticos generados por openoffice) debug de páginas html y javascript Me explico. La aplicación genera unos documentos en odt que el wordpad …
