diff --git a/.env.dist b/.env.dist new file mode 100644 index 0000000..03fb301 --- /dev/null +++ b/.env.dist @@ -0,0 +1,3 @@ +LODEX_INSTANCE=http://192.168.1.12:49266 +LODEX_USER=admin +LODEX_PASSWORD=pwd diff --git a/.gitignore b/.gitignore index 56880d9..d3feed5 100644 --- a/.gitignore +++ b/.gitignore @@ -1,2 +1,3 @@ # Ignorer l'environnement virtuel Python .istex-enrich-monitoring-env/ +.env diff --git a/Makefile b/Makefile index 8b6345b..e32beec 100644 --- a/Makefile +++ b/Makefile @@ -10,6 +10,10 @@ # Définir une variable pour les fichiers JSONL des données RECORD_FILES = ./data/records/*.jsonl +# Chargement des variables d'environnement +include .env +export + # # INSTALLATION # @@ -66,4 +70,24 @@ | make -s merge-loaded-corpus-data \ | make -s lodex-clean-json-keys > ./lodex/data.jsonl +# +# Publish +# + +# Publier les données sur l'instance Lodex +publish-lodex: + token=$$(curl -c /tmp/lodex-cookies.txt "$$LODEX_INSTANCE/api/login" \ + -X POST \ + -H 'Accept: application/json' \ + -H 'Content-Type: application/json' \ + --data-raw '{"username":"'"$$LODEX_USER"'","password":"'"$$LODEX_PASSWORD"'"}' | jq -r '.token'); + + curl -b /tmp/lodex-cookies.txt "$$LODEX_INSTANCE/api/upload/url" \ + -X POST \ + -H "Authorization: Bearer $$token" \ + -H 'Accept: application/json' \ + -H 'Content-Type: application/json' \ + --data-raw '{"url":"https://gitbucket.inist.fr/eon/istex-enrich-monitoring/raw/master/lodex/data.jsonl","loaderName":"json-lines","customLoader":null}'; + rm /tmp/lodex-cookies.txt + .PHONY: setup fetch-api-istex fetch-loaded-corpus lodex-clean-json-keys mapping-corpus-ark merge-loaded-corpus-data export-all export-excel export-lodex diff --git a/README.md b/README.md index f7f5139..f7a3a7e 100644 --- a/README.md +++ b/README.md @@ -1,6 +1,6 @@ # istex-enrich-monitoring -Ce dépôt contient le code qui permet de produire les statistiques d'enrichissement d'Istex. +Ce dépôt contient le code qui permet de produire et publier les statistiques d'enrichissement d'Istex. ## Organisation du dépôt @@ -38,7 +38,7 @@ ## Usage -Ce projet utilise make pour automatiser les tâches. +Ce projet utilise make pour automatiser les tâches. Les commandes suivantes sont disponibles : * **make setup :** Crée un environnement Python virtuel et installe les dépendances nécessaires. @@ -67,3 +67,5 @@ * **make export-lodex :** Compile et aligne les données par corpus avec les données loaded corpus pour Lodex, sauvegardé sous `./lodex/data.jsonl`. +* **make publish-lodex :** + Publie les données sur Lodex. Avant d'utiliser make publish-lodex, configurez les variables d'environnement requises dans un fichier `.env` à la racine du projet. Le fichier `.env.dist` peut servir de modèle \ No newline at end of file