Newer
Older
web-dumps / halcnrs-dumps / candidats-nonhal-cnrs-2016-tsv.ini
@Nicolas Thouvenin Nicolas Thouvenin on 6 Sep 2022 1 KB feat: import dumps for hal cnrs
[use]
plugin = basics
plugin = conditor
plugin = lodex

[env]
path = currentDate
value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m)

;
;
; Notices de 2016 :
;          - ayant au moins un auteur ayant indiqué le CNRS
;          - non présentes dans HAL (selon les critères paramétrés dans le module de dédoublonnage)
;          - respectant les contraintes CCSD d'import (possédant un code RNSR et une catégorie scientifique)
;          - identifiées par Unpaywall comme étant en open access
; 
; le fichier est généré au format TSV compatible Excel
;
;

[replace]
path = q
value = fix('business.authorsAddresses:(cnrs OR insu OR ins2i) AND (host.publicationDate.normalized:2016 OR host.electronicPublicationDate.normalized:2016) AND -business.sourceUidChain:*hal* AND business.authorsRnsr:* AND classifications.enrichments.hal.code:* AND enrichments.openAccess.unpaywall.isOa:true')

[CORHALFetch]
url = https://corhal-api.inist.fr
retries = 3
timeout = 60000

[replace]
path = url
value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/')

[URLFetch]
url = get('url')
json = true
target = result
timeout = 60000

[exchange]
value = get('result').omit(['authors', 'origins', 'business', 'files' ])

[OBJFlatten]
separator = /

[objects2columns]

[OBJStandardize]

[CSVString]
format = strict
separator = fix('\t')

[FILESave]
location = fix(`${env('PWD')}/public/${env('FileName')}`)
identifier = fix(`${env('FileName')}-${env('currentDate')}.tsv`)
compress = true

[exchange]
value = get('filename').append(' generated.')

[dump]
indent = true