Recargar grupos en hadoop

Como actualizar los grupos de una plataforma de hadoop integrada con sssd sin reiniciar servicios

Para que los cambios en los grupos se vean reflejados, por ejemplo si hemos añadido un nuevo grupo al sistema operativo o al LDAP (si tenemos configurado el servicio SSSD), en el cluster de hadoop lo que hay que hacer es, sobre el namenode ejecutar los siguientes comandos

sss_cache -E
kinit -kt /etc/security/keytabs/hdfs.headless.keytab hdfs
hdfs dfsadmin -refreshUserToGroupsMapping 
hdfs groups gfg001

Con estos comandos lo que conseguimos es

• Limpiar la cache del servicio SSSD
• Iniciar un token de kerberos
• Recargar los grupos existentes en el namenode
• Validar que el usuario contiene el nuevo grupo

Esto es necesario tanto si tenemos integrado SSSD con LDAP+Keberos como si únicamente disponemos de los usuarios y grupos locales del sistema operativo estándar.

Esto es muy útil cuando se está usando ranger integrado con el mismo LDAP que está configurado en el SSSD

Y lo equivalente para yarn

yarn rmadmin -refreshUserToGroupsMappings
yarn rmadmin -getGroups gfg001