FS sur vp-istex-esk #189

vous l'avez peut être remarqué mais sur vp-istex2-esk :
DISK CRITICAL - free space: /data/docker 0 MB (0% inode=81%)
DISK CRITICAL - free space: /tmp 16 MB (1% inode=99%)
DISK CRITICAL - free space: /var 0 MB (0% inode=97%)
(et non je ne mettrai pas 32To...)

Étant donné que Kibana et Elasticsearch tourne correctement, nous n'avions pas remarqué ce manque de place critique. Pour /data/docker, je suspecte un fichier de log qui doit grossir avec le temps. Pour /tmp et /var, aucune idée de l'origine du problème.

vu les fichiers c'est un process de l'user istex qui les produits.

ll -h /var/tmp/
total 2,5G
drwxrwxrwt 2 root root 4,0K mars 3 09:06 ./
drwxr-xr-x 12 root root 4,0K oct. 14 16:37 ../
-rw------- 1 istex istex 2,3G mars 2 15:05 tmpfNt6sx
-rw------- 1 istex istex 283M mars 3 09:06 tmpzuwa35

ll -h /tmp/
total 890M
drwxrwxrwt 10 root root 4,0K mars 22 16:31 ./
drwxr-xr-x 25 root root 4,0K févr. 22 12:48 ../
-rw------- 1 istex istex 890M mars 2 15:11 tmppcjY20

Pour le /tmp, cela provient lors du build d'une image docker qui n'aboutit pas à cause d'un manque de place. Par contre, aucune idée pour /var/tmp mais les noms de fichier sont très ressemblant.

En tout les cas, actuellement, impossible de faire le build d'une image docker sur vp-istex2-esk.

de combien penses tu avoir besoin pour le build ?

fais toi un /applis/istex/home/tmp
et un export TMPDIR=/applis/istex/home/tmp

J'ai créé le repertoire /applis/istex/home/tmp et ajouté la ligne suivante dans le bashrc sur vp-istex2-esk :
export TMPDIR=/applis/istex/home/tmp
Et aucun impact sur le build des images docker.

Il y aurait bien DOCKER_TMPDIR qui pourrait faire l'affaire mais elle doit s'appliquer directement sur le daemon docker.
https://docs.docker.com/engine/reference/commandline/dockerd/#miscellaneous-options

Sinon, pour la taille nécessaire pour le build des images Docker, aucune idée. Essaie de mettre à 2Go /tmp et on verra bien ;)

Bizarrement je viens de faire pareil
ajout à /applis/istex/home/.bashrc
export TMPDIR=/applis/istex/home/tmp
(ça ne fonctionnait pas avec un export "manuel")

• Et ça passe (9.4Go) :
  ll -h /applis/istex/home/tmp/
  total 9,4G
  -rw------- 1 istex istex 9,3G avril 3 10:20 tmpA7emqj

• jusqu'à cette erreur :
  OSError: [Errno 2] No such file or directory: '/applis/istex/home/cluster-esk/elasticsearch/data/nodes/0/indices/lxmQ6ACLQuSmb7si_RNtlg/0/index/_b2bi.cfe'
  docker-compose returned -1

J'ai voulu me reconnecter sur le serveur vp-istex2-esk pour creuser un peu plus sur cette fameuse erreur et je crois que le prompt bash est parti (lui aussi) en vacances. :)

ça vient du programme .iterm2_shell_integration.bash appelé dans le fichier .profile.

iterm2 ? hum ... Je suspecte un utilisateur MacOS qui doit bientôt revenir de vacances lundi prochain. ;)

Bon ... Tous les conteneurs docker relatif à elasticsearch et kibana sont tombés par manque de place. J'ai beau nettoyer les conteneurs et les volumes associés (docker-compose down -v) puis de les recréer (docker-compose up -d), aucun conteneur ne veut démarrer par manque de place disque. Bizarrement, maintenant, il tape sur la partition /data/docker au lieu d'utiliser son volume monté en local (./elasticsearch/data:/usr/share/elasticsearch/data). Quid ?

coté config du cluster (/applis/istex/home/cluster-esk), rien n'a changé (git status) ...

Bon, j'ai fait un grand nettoyage dans les conteneurs et volumes docker. Il ne me reste plus que les images qui doivent prendre environ 1.5Go d'espace disque. Mais malgré ca, je sature la partition /data/docker

Si seulement je possédais les droits root, je pourrais regarder dans /data/docker pour aller voir qu'est ce qui bouffe tout l'espace disque. :D

root@vp-istex2-esk:~# du -sk /data/docker/aufs/*
1588680 /data/docker/aufs/diff
184 /data/docker/aufs/layers
204 /data/docker/aufs/mnt

root@vp-istex2-esk:~# du -sk /data/docker/tmp/docker-builder194834022/data/nodes/0/*
5408148 /data/docker/tmp/docker-builder194834022/data/nodes/0/indices
28 /data/docker/tmp/docker-builder194834022/data/nodes/0/_state

Ajout de 4 Go dans /data/docker.

Grace à une technique de truand (docker run -it --rm -v "$PWD:/host" alpine sh), j'ai réussi à nettoyer le dossier /data/docker/tmp. J'ai ainsi pu avoir un peu plus d'espace disponible pour faire tourner les deux conteneurs kibana et elasticsearch.

Mais merci pour les 4Go supplémentaire ;)