Quelques demandes pour Istex-DATA #180

Bonjour !

Nous aurions besoin dans le cadre de nos analyses notamment pour Cambridge que nous avons reçu :

• D'un espace Docker plus conséquent (50 GO ca serait pas mal) sur vp-istex-fsmap
• D'un SWAP plus gros (Actuellement 1.9GO, souhaité 5 GO si possible car nous travaillons avec du redis qui en necessite parfois) sur vp-istex-fsmap
• Si possible (Je ne sais pas si c'est faisable) d'une installation d'ElasticSearch en version 5 qui cohabiterait avec la version 1.5 (mais sur un port different) actuellement lancé sur vp-istex-esk.

Merci !

1/ vous avez des images/containers de 50Go ? Ou ce sont des données qui ne sont pas externalisées des containers ?
2/ il faut prévoir un arrêt pour le swap.
3/ il y a la istex2-esk en v5. Sinon sur les "anciennes" c'est vous qui maitrisez l'install d'elastic

Bonjour @ponticel

1/ Certaines images peuvent rapidement avoisiner les 1GO, 50GO est peut etre un peu lourd effectivement (10 GO semble un bon compromis).
2/ Pas de soucis pour l'arrêt on ne l'utilise pas actuellement.
3/ Super nous n'étions pas au courant , tout est configuré dessus maintenant, est il possible d'obtenir un sous domain analyse.istex.fr qui redirigerai vers http://vp-istex2-esk.intra.inist.fr:5601 ?

Merci d'avance

Comme je le disais à Rémy tout à l'heure, la demande 3) ne fonctionnera pas car les tableaux de bord Kibana font des appels dynamiques à Elasticsearch côté client (depuis le navigateur), et l'instance d'Elasticsearch concernée n'est pas accesssible sur Internet. Je vois 2 solutions :

• la facile, mais qui coûte cher : s'abonner à X-Pack sur budget ISTEX pour bénéficer de la couche sécurité, permettant d'ouvrir "nativement" les dashboards sur internet
• la plus compliquée, qu'on avait mis en oeuvre pour dashboard.istex.fr : ouvrir partiellement Elasticsearch sur Internet, juste ce qu'il faut pour Kibana, et protégé par MDP.

Pour la seconde option, on avait fait une conf nginx spécifique, consultable à partir de la ligne 100 du fichier suivant : https://git.istex.fr/istex/proxistex/blob/master/vp-istex-web/sites/default

1/ je posais la question car docker ne supprime pas les volumes par défaut quand on supprime les containers (sauf à le demander explicitement avec -v) et sur pas mal de machine dockerisées on a constaté une utilisation de l'espace disque qui était largement supérieur à ce dont ont besoin les containers.
docker volumes ls à comparer avec ce que sort un docker container inspect (sur tous les containers en fonctionnement)
et 50Go me semblait absolument faramineux.

2/ ok c'est noté, dès que j'ai un peu de temps. swap + agrandir /data/docker

3/ je ne vous suis pas trop ;-) il vous faut nginx sur les istex2-es ?
Pour mon info : une idée du cout de xpack ?

fait pour le swap et /data/docker :
/dev/mapper/data-data_docker 9,8G 2,6G 7,1G 27% /data/docker
Swap: 5066748

Merci pour les modifs pour le swap et /data/docker ! ;)

Pour le sous-domaine, on va attendre un peu avant d'ouvrir un kibana et un elasticsearch à l’extérieur.

Par contre, nous venons tout juste de bloquer docker sur la machine vp-istex2-esk à cause d'un dépassement de la heap size de Java dans un container kibana. Est il possible de redémarrer le daemon docker ? La perte des containers n'est pas un problème car ils peuvent être récréer avec un docker-compose et les données ont été persisté en local sur le serveur host. Si besoin, je peux me déplacer pour de plus amples explication.

La machine est redémarrée.
Le FS /data/docker est agrandi à 5 Go.

Merci ! Je viens de me rendre compte que le container kibana ne monte pas de volume en local pour ses logs. C'est pour cela que la partition /data/docker était blindé. Un bête oubli qui va être vite corrigé. ;)