diff --git a/bash/harvest-perf.sh b/bash/harvest-perf.sh index a91006f..9dc8e12 100755 --- a/bash/harvest-perf.sh +++ b/bash/harvest-perf.sh @@ -14,6 +14,7 @@ PAGE_SIZE=10 ISTEX_QUERY="hypertext" ISTEX_URI="https://api.istex.fr/document/?q=$ISTEX_QUERY&size=$PAGE_SIZE" +# ISTEX_URI="https://192.168.128.14/document/?q=$ISTEX_QUERY&size=$PAGE_SIZE" # Outil JQ permettant de manipuler le JSON en ligne de commande # http://stedolan.github.io/jq/ @@ -56,7 +57,7 @@ do DOC_META_IDX=$(wcalc -q "$DOC_META_IDX - 1") URI=$(echo $DOC_METADATA | $JQ ".[$DOC_META_IDX].uri") - FILETYPE=$(echo $DOC_METADATA | $JQ ".[$DOC_META_IDX].type") + FILETYPE=$(echo $DOC_METADATA | $JQ ".[$DOC_META_IDX].extension") FILENAME="$DOC_ISTEXID.$FILETYPE" curl -s $URI > $FILENAME echo "--> Métadonnées téléchargé : $FILENAME" @@ -67,7 +68,7 @@ do DOC_FT_IDX=$(wcalc -q "$DOC_FT_IDX - 1") URI=$(echo $DOC_FULLTEXT | $JQ ".[$DOC_FT_IDX].uri") - FILETYPE=$(echo $DOC_FULLTEXT | $JQ ".[$DOC_FT_IDX].type") + FILETYPE=$(echo $DOC_FULLTEXT | $JQ ".[$DOC_FT_IDX].extension") FILENAME="$DOC_ISTEXID.$FILETYPE" curl -s $URI > $FILENAME echo "--> Plein texte téléchargé : $FILENAME" diff --git a/bash/perf.sh b/bash/perf.sh index 6fff67f..7568b1c 100755 --- a/bash/perf.sh +++ b/bash/perf.sh @@ -28,10 +28,10 @@ TIME="/usr/bin/time --output "$TIMEFILE" --format %e" HARVEST="$CUR_DIR/harvest-perf.sh" NET="" +HARVEST="ls -alph" - -# "$TIME $APP" -$TIME find ~ -type f -name '*.pdf' +cd "$CORPUS_DIR" +$TIME $HARVEST # Compilation des résultats NB_PDF=$(find "$CORPUS_DIR" -type f -name "*.pdf"| wc -l)