Bloggers recientes

 

[ Blog ]
[ Wiki ]
[ Slideshare ]
[ Twitter ]
[ YouTube ]
Gustavo Fernandez Mensajes: 67
Estrellas: 7
Fecha: 17/11/14
Silvia Rodriguez Mensajes: 11
Estrellas: 0
Fecha: 13/11/14

Archivo

Tags

noBlogo - El blog de zylk.net

Seguimos jugando con phoenix

Siguiendo con el anterior post relacionado con Phoenix, he estado probando más características que hay que evaluar para ver hasta donde nos puede llevar Phoenix + Hbase+ Pentaho + Saiku.

1) Herramientas de bulk

2) Rendimeinto de las queries

3) Creación de índices secundarios

4) Análisis de los planes de ejecución de las queries

En la imagen podemos ver los resultados de los juegos ... la verdad es que apunta maneras. La siguiente prueba consistirá en recoger los datos de un proyecto típico de BI con pentaho y mysql y pasarlo a Hbase + phoenix ... a ver que pasa, eso sí, tendré que mejorar mi zona de juegos porque el laboratorio se me está empezando a quedar pequeño

Presentación de Sinadura y caso de éxito en la Librecon 2014

 

Finalizada ya la LibreCon 2014 toca hacer repaso de lo vivido estos últimos dos días a lo largo de las numerosas ponencias a las que hemos tenido la suerte de poder asistir. En unos días publicaremos un resumen de los mejores momentos, pero antes queremos dejaros aquí la presentación del caso de uso de Sinadura en Parlamento Vasco junto con las nuevas funcionalidades de la última versión entre las que destacan las siguientes:

  • Posibilidad de firmar documentos PDF con campos de firma predefinidos

  • Posibilidad de crear y gestionar varios perfiles de firma con distintas preferencias de firma de documentos PDF.

  • Durante la acción de firma permite previsualizar el documento a firmar y elegir la posición de la firma pudiendo ubicar esta en cualquiera de las hojas del documento.

  • Asociar un perfil de firma a su correspondiente campo de firma predefinido

 

 

Para descargarte la actual versión de Sinadura Desktop puedes hacerlo fácilmente desde la zona de descargas aquí, y tienes el manual de usuario aquí.

 

Así que ya sabes, permanece atento a este blog y a la página de sinadura (www.sinadura.net) y no te pierdas las novedades que tenemos preparadas. También puedes seguir nuestras actualizaciones  a través de twitter o Linkedin

 

 

Cubos OLAP con hbase, pentaho, saiku y phoenix

Hace unos meses que el proyecto phoenix ha salido de la incubadora de apache. Por esta razón he decidido hacer unas pruebas de concepto para ver como se podría integrar los cubos R-OLAP basados en mondrian y consumidos desde la interfaz de saiku como componente de servidor de pentaho. ¿por qué puede ser interesante esto?.

  1. Mondrian es un proyecto que traduce queries MDX a SQL
  2. Phoenix es un proyecto que traduce queries SQL a queries de HBase

Por tanto integrando phoenix en pentaho podríamos consumir los datos almacenados en un tablón tipo Hbase.

Siguiendo este artículo y configurando superando algunos temas menores es bastante sencillo crear cubos OLAP desde pentaho que realmenta utilicen como backend datos almacenados en HBase. Los temas que hay que tener en cuenta son

  1. Los jars a añadir al directorio lib del bi-server
  2. La configuración del datasource desde pentaho (generic database)
  3. El detalle de los nombres de las tablas en mayusculas al crear las tablas desde la linea de comandos provista por phoenix

A continuación muestro unas capturas de las pruebas realizadas

 

y como se vería el cubo

 

En realidad en este caso, dado que mi laboratioro de hadoop/hbase es un pequeño juguete el sistema es un poco lento y el tiempo de respuesta del cubo es un poco superior al de mysql. En este caso lo único que quería probar era el funcionamiento de phoneix y ver que tipo de coprocesadores y de problemas podía tener su uso.

Por otro lado, también he probado a enganchar la herramienta kettle (ETL) usando phoenix y el sistema de reporting...la verdad es que todos ellos funciona de manera transparente usando el driver JDBC de phoenix. Ahora solo queda hacer unas pruebas más orientadas a rendimiento para ver si realmente es una solución que nos permita escalar a cientos de millones los registros explotados por los cubos OLAP ...

Comienza la cuenta atrás para la Librecon 2014

 

A falta de una semana para que de comienzo la LibreCon 2014 no podemos hacer otra cosa que animarte a participar si es que aún no te has decidido. En este evento hay de todo para todos así que no puedes faltar. Tanto si estás buscando conocer la actualidad del sector, un partner para tu producto o hacer networking este es tu espacio. Tienen cabida desde profesionales expertos que nos contarán casos de éxito con herramientas libres como nuevos profesionales con ganas de emprender en el ámbito de las tecnologías abiertas.

 

Para ello hay preparadas más de 60 casos de éxito, charlas y talleres así como un Txoko take up especialmente pensado para reunir a los nuevos talentos del software libre con oportunidades de emprendizaje en torno a retos sociales y de mercado.

 

 

Como ya sabéis nosotros no faltaremos a la cita y el martes 11 de noviembre a las 13:30 podrás vernos en el Tech Space. Hablaremos sobre Identidad y Firma digital con Sinadura y nos acompañará Juanjo Arruza de parlamento Vasco para contarnos entre otras cosas el caso de uso de Parlamento Vasco. Además, qué mejor lugar que la Librecon para presentar la última versión de Sinadura: Sinadura 3.5 y sus nuevas funcionalidades.

Ven al palacio Euskalduna a disfrutar de todo lo que hemos organizado y si quieres aprovechar para reunirte con nosotros para que te contemos nuestras novedades en Portales corporativos con Liferay y Gestión Documental con Alfresco no dudes en escribirnos un email a info@zylk.net o llámanos al: 944 272 119.

Te esperamos!

Backing up Alfresco indices
In a previous post we talk about search subsystems in Alfresco. There exists for each subsystem some quartz jobs related to backup indices. In the case of Lucene subsystem, Lucene backups are done at 3AM and their parameters are configurable via alfresco-global.properties (or extending the corresponding search subsystem).
 
index.backup.cronExpression=0 0 3 * * ?
dir.indexes=${dir.root}/lucene-indexes
dir.indexes.backup=/backup-lucene-indexes    
 
So you can always change these values, and then restart Alfresco service for Community version.
In the case of SOLR subsystem, SOLR backups are done at 2AM and 4AM (for example in alfresco-global.properties)
 
solr.backup.alfresco.cronExpression=0 0 2 * * ?
solr.backup.archive.cronExpression=0 0 4 * * ?
solr.backup.alfresco.numberToKeep=3
solr.backup.archive.numberToKeep=3
solr.backup.alfresco.remoteBackupLocation=${dir.root}/solrBackup/alfresco
solr.backup.archive.remoteBackupLocation=${dir.root}/solrBackup/archive
 
And you can always change them too, and restart the service for Community version. 
You can also invoke SOLR backups, from SOLR admin panel (with browser.p12 certificate) you can go to the corresponding urls:
 
https://alfserver:8443/solr/alfresco/replication?command=backup&location=/opt/alfresco/alf_data/solrBackup/alfresco&numberToKeep=3
https://alfserver:8443/solr/archive/replication?command=backup&location=/opt/alfresco/alf_data/archive/alfresco&numberToKeep=3
 
Even, it can be done via curl:
 
 
In Alfresco EE, we can also perform this operation with Alfresco Admin Console (changing the cron expression). It is also possible to change the same cron expression via JMX or even better to run JMX SOLR backup trigger via jmxterm or your favourite JMX console. For example, with jmxterm you can type:
 
jmvs
open <bootstrap-id>
domain Alfresco 
bean Alfresco:Group=DEFAULT,Name=Schedule,Trigger=search.alfrescoCoreBackupTrigger,Type=MonitoredCronTrigger
run executeNow
 
In the case of jmxterm, it is possible to write a shell script as an alternative for the curl method. The script file should be like this:
 
#! /bin/bash
JMXTERM_CMD0="run -b Alfresco:Group=DEFAULT,Name=Schedule,Trigger=search.alfrescoCoreBackupTrigger,Type=MonitoredCronTrigger -d Alfresco executeNow"
echo $JMXTERM_CMD0 | java -jar jmxterm-1.0-alpha-4-uber.jar -l service:jmx:rmi:///jndi/rmi://localhost:50500/alfresco/jmxrmi -p change_asap -u controlRole
 
JMXTERM_CMD1="run -b Alfresco:Group=DEFAULT,Name=Schedule,Trigger=search.archiveCoreBackupTrigger,Type=MonitoredCronTrigger -d Alfresco executeNow"
echo $JMXTERM_CMD1 | java -jar jmxterm-1.0-alpha-4-uber.jar -l service:jmx:rmi:///jndi/rmi://localhost:50500/alfresco/jmxrmi -p change_asap -u controlRole
Mostrando el intervalo 1 - 5 de 266 resultados.
Resultados por página 5
de 54