diff --git a/script/harvester/harvester.sh b/script/harvester/harvester.sh index 6652386..8738f64 100755 --- a/script/harvester/harvester.sh +++ b/script/harvester/harvester.sh @@ -9,6 +9,7 @@ response=$(curl --silent --get \ --data-urlencode "q=$query" \ --data-urlencode "facet=$facet[*]" \ + --data-urlencore "size=0" \ $ISTEX_API \ ) @@ -16,6 +17,19 @@ echo "$response" | jq -c --arg facet "$facet" --arg query "$query" '{"facet": $facet, "query": $query, "response": .}' | process_bucket } +function fetch_total() { + query="$1" + # Appel à l'API ISTEX avec curl, en spécifiant la requête et la facette + response=$(curl --silent --get \ + --data-urlencode "q=$query" \ + --data-urlencore "size=0" \ + $ISTEX_API \ + ) + + # Formatage de la réponse en JSON et passage à la fonction process_bucket + echo "$response" | jq -c '{"nb" : .total}' +} + # Fonction pour traiter les buckets de données agrégées par facettes function process_bucket { input=$(cat) # Lecture de l'entrée JSON @@ -141,3 +155,6 @@ handle_request "*" "corpusName" "categories.wos" "corpus.category.wos" handle_request "*" "corpusName" "genre" "corpus.genre" handle_request "*" "corpusName" "language language" "corpus.enrichment.lang" + +fetch_total "*" | type "istex.nb_doc" | stamp +fetch_total "enrichments.type.raw:*" | type "istex.nb_doc_enrichis" | stamp