Réplication d'index entre vp-istex-es1 et vp-istex-index #31

Closed niederle opened this issue on 11 Mar 2015 - 11 comments

@niederle niederle commented on 11 Mar 2015

No description provided.

on ajoutera le 2ème noeud dans un second temps

A priori très faible activité sur les 2 noeuds...
Le plus gros du travail est de la copie réseau

Vu sur vSphere à l'instant...
Le débit réseau est très lent, non ??
vp-istex-index-vsphere

@ringot ringot commented on 11 Mar 2015

On ne sait pas encore si il y a une auto-limitation quelque part.

Tu peux nous communiquer les URLs Bigdesk des 2 noeuds STP ?
(ou du plugin HEAD)

@ringot ringot commented on 11 Mar 2015

Est-ce que le paramètre :

indices.recovery.max_bytes_per_sec: 20mb

a priori par défaut (faut vérifier) ne limiterait pas le débit entre les deux noeuds ?

Je n'arrive pas à installer bigdesk sur ces machines...

Sinon on n'a effectivement pas touché au paramètre dont tu parles. J'ai essayé de le changer à chaud, mais je ne suis pas sûr de mon coup

flute, malgré le réglage sur la conf globale, le nombre de réplica sur les index était à zéro.
Je viens de le mettre à 1, la réplication vient de reprendre à zéro :-(

Patrice, tu avais vu juste pour indices.recovery.max_bytes_per_sec.
J'ai constaté une hausse des débits en le passant à "200mb" (Mbytes / sec), soit 1600 Mbit/s
Par contre, j'ai l'impression qu'on plafonne en vrai aux alentours de 650/700 Mbits/s
Je vais le régler sur 100mb pour le moment

@ringot ringot commented on 11 Mar 2015

On a vu quand tu as relancé la réplication un profile d'utilisation des disques différent du précédent: les deux noeuds se sont mis à lire et à écrire simultanément.

Pourquoi cela écrit côté istex-index alors que c'est lui qui est à la source ?

Ci-dessous les stats "temps-réel" coté es1, mais le schéma est similaire côté es-index.

IOReplicationDestination

En fait, les 6 index avaient gardé le paramètre "number_of_replicas:0", du coup les shards ont été simplement distribuées au lieu d'être répliquées. (par ex : shards 1 et 2 sur une machine et shards 2, 3 et 4 sur l'autre)

Quand je m'en suis aperçu (vers la fin de la distribution), j'ai configuré VRAIMENT la réplication, ce qui a entraîné des transferts dans les 2 sens

Avant de partir le soir, j'ai lancé la réplication sur les 3 machines

Réplication OK ce matin

@niederle niederle closed this issue on 12 Mar 2015
Labels

Priority
No priority
Milestone
No milestone
Assignee
@niederle niederle
2 participants
@niederle @ringot