Recargar grupos en hadoop

Para que los cambios en los grupos se vean reflejados, por ejemplo si hemos añadido un nuevo grupo al sistema operativo o al LDAP (si tenemos configurado el servicio SSSD), en el cluster de hadoop lo que hay que hacer es, sobre el namenode ejecutar los siguientes comandos

sss_cache -E
kinit -kt /etc/security/keytabs/hdfs.headless.keytab hdfs
hdfs dfsadmin -refreshUserToGroupsMapping 
hdfs groups gfg001

Con estos comandos lo que conseguimos es

• Limpiar la cache del servicio SSSD
• Iniciar un token de kerberos
• Recargar los grupos existentes en el namenode
• Validar que el usuario contiene el nuevo grupo

Esto es necesario tanto si tenemos integrado SSSD con LDAP+Keberos como si únicamente disponemos de los usuarios y grupos locales del sistema operativo estándar.

Esto es muy útil cuando se está usando ranger integrado con el mismo LDAP que está configurado en el SSSD

Y lo equivalente para yarn

yarn rmadmin -refreshUserToGroupsMappings
yarn rmadmin -getGroups gfg001