Open IT Experts for Enterprise
Normalmente cuando se monta un cluster de liferay hay un varios temas a tener en cuenta Replica de las caches de base de datos (hibernate) Replica de los indices de lucene (cluster-link) Replica de los ficheros Para la parte de replica de caches de base de datos, se usa una replica multi-cast entre los distintos …
Siguiendo con los temas de SEO para liferay explicados en anteriores post, vamos a explicar un pequeño tip que sin cambiar nada en liferay nos permitirá disponer urls amigables para los contenidos servidos por el journal. Como intorducción decir que existe un concepro de url amigable dentro del portal y que es bastante flexible y …
Una de las características interesantes a la hora de gestionar los contenidos basados en estructuras y templates en liferay es la posibilidad de hacer lógica y mini-aplicaciones basadas en velocity. En este caso vamos a explicar como montar una agenda de eventos sencilla basada en un contenido estructurado tipo evento. Para ello necesitaremos varias cosas …
Creando mini aplicaciones basdas en el CMS de liferay Leer más »
Revisando, como hacemos frecuentemente, las entradas del blog de liferay he leido el siguiente post, muy interesante, relacionado con la posibilidad de disponer de un contenedor (a modo de sandbox) en el que ejecutar algunos portlets. La idea general es que se puede hacer que ciertas partes del portlet se ejecuten en un contenedor separado …
Siguiendo con el postanterior, los servicios que al final hemos arrancado, y la formade arrancarlos es la siguiente: Arrancar el filesystem distribuido, el yarn y el servidor dehistórico de tares realizadas por yarn>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-dfs.sh>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-yarn.sh>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$./mr-jobhistory-daemon.sh start historyserver Arrancar el gateway de nfs>>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ sudo./hdfs portmap>>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ sudo./hdfs nfs3 UPDATE: Hemos incorporado hbase al laboratorio >>>hadoop@lug000:/zoo/hbase-0.98.5-hadoop2$ ./bin/start-hbase.sh Y …
Montando un laboratorio de big-data basado en hadoop 2 servicios arrancados Leer más »
LLevamos ya un tiempo usando el llamado zoo dehadoop para hacer algunos proyectosrelacionados con big-data.Hasta ahora siempre hemos usado la versión de hadoop 1.x porque era laversión con la que empezamos a hacer las pruebas de concepto. Perocomo parece ya seguro que hadoop ha venido para quedarse noestá de más hacer pruebas con las nuevas …
Montando un laboratorio de big data basado en Hadoop 2 Leer más »
Siguiendo con los posts anteriores (I,II)relacionados con el laboratorio de hadoop 2, elprimer post dejé un warning en el arranque de hdfs sin resolver. Elwarning está relacionado con el uso de librerías nativas del sistemaoperativo para los procesos de compresión y descompresión. Parece queestos procesos realizados por medio de código java son un 40% máslentos …
Hace unos meses que el proyecto phoenix ha salido de la incubadora de apache. Por esta razón he decidido hacer unas pruebas de concepto para ver como se podría integrar los cubos R-OLAP basados en mondrian y consumidos desde la interfaz de saiku como componente de servidor de pentaho. ¿por qué puede ser interesante esto?. …
Hace un par de semanas acudí a la siguiente charla en la que la gente de linkedin presentaba su solución de alto rendimiento para procesar información. Fue toda una alegría ver que muchos de los conceptos explicados eran temas que en zylk.net llevamos ya algún tiempo aplicando. Procesos desacoplados (Colas y Topics ) Websockets para …
Siguiendo con el anterior post relacionado con Phoenix, he estado probando más características que hay que evaluar para ver hasta donde nos puede llevar Phoenix + Hbase+ Pentaho + Saiku. 1) Herramientas de bulk 2) Rendimeinto de las queries 3) Creación de índices secundarios 4) Análisis de los planes de ejecución de las queries En …
Siguiendo con las pruebas de los productos mencionados en anteriores post, una de las cosas más o menos sencillas que se puede hacer es, configurar los distintos productos que usan log4j para añadirles un nuevo appender de tipo cola de kafka. El propio proyecto de kafka trae un appender para log4j Para hacer uso del …
Configurando liferay para que deje las trazas en colas de kafka Leer más »
Siguiendo con los artículos anteriores relacionados con los nuevos paradigmas del desarrollo, hemos montado en el laboratorio donde hacemos las pruebas, en zylk.net, un sistema de monitorización para tener métricas de los siguientes productos Sistema operativo HDFS MAP&REDUCE (yarn) Hbase Kafka Todos estos productos ya los hemos ido describiendo en anteriores entradas del blog y …
Monitorizando el cluster de hadoop y kafka con Ganglia Leer más »
Una de las particularidades de las orientaciones SOA es que servicios consumen servicios, y desde hace un tiempo ya estos servicios no se orientan a SOAP con webservices si no que se orientan más a servicios más ligeros basados en REST. En la siguiente firgura podemos ver un ejemplo de lo comentado Donde podemos ver, …
Implementando servicios REST con jaxrs sustituyendo JSON por Protocol Buffer Leer más »
Durante el desarrollo de un proyecto de BI con pentaho, similar al proyecto que describimos el año pasado que hicimos con las empresa cianoplan, nos ha surgido la necesidad de ampliar la funcionalidad del componente tabla del CDF. La idea es que queríamos calcular algunos totales en la tabla. Buscando por internet en los foros …
CDF. Extendiendo el componente tabla en los dashboards de pentaho. Leer más »
Siguiendo con el diseño de aplicaciones de alto rendimiento vamos a ver como se podría mejorar el rendimiento de la siguiente parte del gráfico general donde vemos que hay una librería (cliente) que se integra en otra aplicación. Lo fundamental en este caso es que la librería cliente no penalice, o penalice lo menos …
Ejecucion asincrona usando el framework java.util.concurrent Leer más »
La nueva versión de sinadura Desktop ha visto hoy la luz… puedes descargártela en la zona de descarga del site de sinadura. Las principales características de esta nueva versión se pueden agrupar en dos grandes grupos Gestión mejorada de los perfiles de firma de los documentos PDFs. Posibilidad de realizar firmas de facturas electrónicas en …
Nueva versión de sinadura, ahora firmamos factura-e y disponemos de perfiles de firma Leer más »
LLevo un par de meses metido en un proyecto bastante interesante, y hasta que no finalice no me está dando tiempo a escribir sobre el mismo. Así que al menos voy a publicar un conjunto de links, muy interesantes, de temas que estamos usando. Patrones, paradigmas de desarrollo etc… Todos están relacionados con el tratamiento …
Hace más o menos un mes que liberamos la versión 4.2 de sinadura Desktop, y hoy me ha llegado un mail comentando que en el entorno ubuntu 14.04 con KDE el programa fallaba y se cerraba inesperadamente. Después del intercambio de unos pocos mails hemos visto que el problema estaba relacionado con las librerías SWT …
La semana pasada un miembro de la comunidad de sinadura (Luís Jorge Pinho), aportó la traducción al portugues. Desde zylk.net queremos agradecerle el trabajo realizado mediante este post. Además queremos explicar como se añaden estos nuevos idiomas al producto sin que tengáis que esperar a que publiquemos una nueva versión con dicha traducción añadida. Para …
A continuación voy a da algunas referencias que nos han ayudado en la automatización de la generacion de empaquetados para MacOSX, de aplicaciones java. En zylk.net empezamos a hacer nuestros primeros desarrollos multiplataforma allá por el año 2009 cuando desarrollamos, junto a otros miembros de la comunidad, la primera versión de sinadura. Después de 6 …
Siguiendo con el post de ayer y después de unos mínimos ajustes en los scripts del stack, ya podemos crear un cluster de solr (tipo cloud) y crear en él una collection con dos shards y factor de replica 2. Para ellos basta con ejecutar el siguiente comando en alguno de los nodos gestionados desde …
Ambari hortonworks stacks and services solrCloud for liferay Leer más »
Dentro del proyecto ambari[0] hay dos partes que son claramente extensibles. Las vistas[1] Los stacks services[2] En este artículo vamos a ver, muy someramente, para que creemos que se pueden usar los stacks y un ejemplo de stack para gestionar un motor de búsqueda como solr[3]. Según el propio proyecto ambari la definición de …
Siguiendo un poco con el post de mi compañero Cesar , voy a poner una receta para comprobar la velocidad de transferencia entre equipos. En realidad para ello se uso el comando iperf, que se puede instalar en ubuntu, debian y centos/redhat con los gestores de paquetes de cada distro. Lo que hay que hacer …
Siguiendo con las pruebas y las arquitecturas relacionados con bigdata vamos a inspeccionar las capacidades de yarn para levantar procesos en un cluster HDP. Lo primero que habría que introducir es el producto yarn. De la página siguiente de hortonworks podemos obtener la siguiente definición YARN is the prerequisite for Enterprise Hadoop, providing resource management …
Usando yarn y slider para levantar procesos en un cluster de hortonworks Leer más »
Siguiendo con los artículos relacionados con YARN, SLIDER y arquitecturas relacionadas con BigData mostramos a continuación una posible arquitectura basda en los siguientes tres elementos YARN SLIDER AVRO RPC Donde lo importante es que con este tipo de arquitectura podríamos disponer de servicios con las caraterísticas indicadas Resilence (http://hortonworks.com/blog/rm-yarn-resilience/) Elastic (https://slider.incubator.apache.org/) Horizontal Scaling (http://hortonworks.com/hadoop/slider/) Packaging …