diff --git a/data-workflow/v1/buffer.cfg b/data-workflow/v1/buffer.cfg new file mode 100644 index 0000000..a56c958 --- /dev/null +++ b/data-workflow/v1/buffer.cfg @@ -0,0 +1,24 @@ +[use] +plugin = basics + +# On sauvegarde sur disque pour accepter rapidement tous les objets en entrée +# et répondre rapidement au client que le traitmenent asynchnrone est lancé. +# +# Le "fork" se détache uniquement quand tous les objets sont "rentrés" dans le fork +# Si le traitement est plus lent que la sauvegarde sur disque +# il est nécessaire de créer un fichier temporaire +[pack] +[FILESave] +identifier = env('identifier') +location = /tmp/upload +compress = true + +[exchange] +value = get('filename') + +[FILELoad] +compress = true +location = /tmp/upload +[unpack] + + diff --git a/data-workflow/v1/conditormetrie.cfg b/data-workflow/v1/conditormetrie.cfg index 401058a..1a0d9ac 100644 --- a/data-workflow/v1/conditormetrie.cfg +++ b/data-workflow/v1/conditormetrie.cfg @@ -6,6 +6,7 @@ path = number2labelDR value = fix({"01": "DR01 Ile-de-France Villejuif","02": "DR02 Paris-Centre","04": "DR04 Ile-de-France Gif-sur-Yvette","05": "DR05 Ile-de-France Meudon","16": "DR16 Paris-Normandie","06": "DR06 Centre Est","10": "DR10 Alsace","08": "DR08 Centre Limousin Poitou Charente","17": "DR17 Bretagne et Pays de la Loire","18": "DR18 Hauts-de-France","07": "DR07 Rhône Auvergne","11": "DR11 Alpes","12": "DR12 Provence et Corse","20": "DR20 Côte d'Azur","13": "DR13 Occitanie Est","14": "DR14 Occitanie Ouest","15": "DR15 Aquitaine"}) + [assign] # Récupère electronicPublicationDate et publicationDate # Prend la plus ancienne (= la plus petite) diff --git a/data-workflow/v1/conditormetrie.ini b/data-workflow/v1/conditormetrie.ini index 73b42cb..1bb5dea 100644 --- a/data-workflow/v1/conditormetrie.ini +++ b/data-workflow/v1/conditormetrie.ini @@ -40,11 +40,14 @@ file = charger.cfg # Step 2 (générique): Traiter de manière asynchnore les items reçus -[tracer] [fork] standalone = true logger = logger.cfg +# Step 2.0 (optionnel): Accélére le détachment du fork si l'enrichissement est lent +[fork/delegate] +file = buffer.cfg + # Step 2.1 (spécifique): Lancer un calcul sur tous les items reçus [fork/delegate] file = conditormetrie.cfg diff --git a/data-workflow/v1/recorder.cfg b/data-workflow/v1/recorder.cfg index f768491..66e4702 100644 --- a/data-workflow/v1/recorder.cfg +++ b/data-workflow/v1/recorder.cfg @@ -34,10 +34,10 @@ # Step 2.4.3 (faculatif) : Ajouter une trace dans log [swing/debug] -text = webhook triggered +text = WebHook triggered # Step 2.5 (faculatif) : Ajouter une trace dans log [debug] -text = process completed +text = Process completed