WoS-dumps

Collecte, restructuration et enrichissement de données WebofScience.

Les fichiers fournis sont au format JSON Lines (.jsonl)

📗 Tant qu'une étape n'est pas terminée, le fichier résultant est suffixé par .crdownload.

Pour interroger l'API il convient de renseigner sa clé API. Celle-ci ne pouvant être divulguée ici, on la déclare en variable d'environnement dans la configuration de l'instance EZMaster. Voir plus bas.

Étapes

01-query

Dépôt d'un fichier NOM_DU_FICHIER.txt (requête) dans le répertoire 01-query.

02-download

Téléchargement de données via la requête sur l'API WoS.

Etant donné la structure des JSON récupérés, le code a été factorisé afin de réduire la redondance et surtout le nombre d'appels aux données. Les données extraites sont donc regroupées selon leur imbrication :

• AccessionNumber => Les UTWOS
• Identifiers => DOI, ISSN, eISSN, eISBN, ArticleNumber & PMID
• DocumentType => Les types de document
• Titles => DocumentTitle & Source
• PubInfo => Volume, Issue, BeginningPage, EndingPage, YearPublished & EarlyAccessYear
• Conference => ConferenceDate, ConferenceTitle, ConferenceCity & ConferenceState
• Authors => Pour chaque auteur wos_standard, full_name_deburred & full_name
• AuthorsWithAddress => Pour chaque auteur wos_standard, full_name, country, city & full_address
• ReprintAddresses => Pour chaque auteur wos_standard, full_name, country, city & full_address
• KeywordsPlus => Les mots-clés WoS
• AuthorKeywords => Les mots-clés d'auteurs
• CitationCountWOS => Le nombre de citations
• CitationTopics => Macro, Meso & Micro
• Categories => ResearchAreas & WebofScienceCategories
• NormalizedLanguage => La/les langue(s) du document
• NormalizedDocumentType => Les types de document normalisés
• Abstract => Le résumé du document
• SDG => Les Sustainable Development Goals

  03-enrich

• RevueVolume => Template string qui concatène, si les données existent, les éléments suivants dans une chaîne du type : Source Volume: Issue: Article Number: Pages:(BeginningPage EndingPage) Published:
• DisciplinesESI => enrichissement par sous-flux. Le fichier 03.1-enrich-ESI.ini récupère les disciplines ESI à partir de WebofScienceCategories
• JCRSubjectCategory => enrichissement par sous-flux. Le fichier 03.2-enrich-JCR.ini récupère les données relatives à la notoriété d'une revue à partir de Source
• Unpaywall interroge le web-service Unpaywall uniquement si le document possède un DOI (évite les interrogations inutiles)

04-report

Cette étape sert à générer un fichier par requête, contenant le nombre de lignes du fichier (et donc le nombre de notices) et le nom du fichier correspondant dans le répertoire 03-enrich.

Configuration

⚠️ Attention: utilisez au moins la version 1.0.4 de lodex-makefile et la version 14 de node.

S'assurer d'avoir les versions suivantes :

"packages": [
"@ezs/conditor@2.13.3",
"@ezs/analytics@2.3.5",
"@ezs/basics@2.9.1",
"@ezs/core@3.11.0"
]

Reste de la configuration :

{
    "environnement": {
        "EZS_VERBOSE": false,
        "EZS_PIPELINE_DELAY": 3600,
        "WOS_API_KEY": "********************************"
    },
    "files" : {
        "zip": "https://gitbucket.inist.fr/tdm/web-dumps/archive/wos-dumps/wos-dumps@4.0.0.zip"
    }
}