diff --git a/bash/harvest-perf.sh b/bash/harvest-perf.sh index 7c93d00..ca0f472 100755 --- a/bash/harvest-perf.sh +++ b/bash/harvest-perf.sh @@ -20,6 +20,11 @@ URL="https://api.istex.fr" fi +URLS_FILE="/run/shm/harvest-urls" +if [ -f "$URLS_FILE" ]; then + rm "$URLS_FILE" +fi + PAGE_SIZE=10 ISTEX_QUERY="degrowth%20AND%20ecology" ISTEX_URI="$URL/document/?q=$ISTEX_QUERY&size=$PAGE_SIZE" @@ -71,8 +76,9 @@ URI=$(echo $DOC_METADATA | $JQ ".[$DOC_META_IDX].uri") FILETYPE=$(echo $DOC_METADATA | $JQ ".[$DOC_META_IDX].extension") FILENAME="$DOC_ISTEXID.$FILETYPE" - curl -s $URI > $FILENAME - echo "--> Métadonnées téléchargé : $FILENAME" + echo "curl -s $URI > $FILENAME" >> $URLS_FILE + # curl -s $URI > $FILENAME + # echo "--> Métadonnées téléchargé : $FILENAME" done # On télécharge les plein textes du document @@ -82,13 +88,15 @@ URI=$(echo $DOC_FULLTEXT | $JQ ".[$DOC_FT_IDX].uri") FILETYPE=$(echo $DOC_FULLTEXT | $JQ ".[$DOC_FT_IDX].extension") FILENAME="$DOC_ISTEXID.$FILETYPE" - curl -s $URI > $FILENAME - echo "--> Plein texte téléchargé : $FILENAME" + # curl -s $URI > $FILENAME + echo "curl -s $URI > $FILENAME" >> $URLS_FILE + # echo "--> Plein texte téléchargé : $FILENAME" done done done +cat "$URLS_FILE" | parallel --gnu "eval {}"