diff --git a/corhal-dumps-config.json b/corhal-dumps-config.json index d09223a..d754866 100644 --- a/corhal-dumps-config.json +++ b/corhal-dumps-config.json @@ -1,6 +1,6 @@ { "files" : { - "zip": "https://gitbucket.inist.fr/tdm/web-dumps/archive/corhal-dumps/corhal-dumps@1.0.0.zip" + "zip": "https://gitbucket.inist.fr/tdm/web-dumps/archive/corhal-dumps/corhal-dumps@2.0.0.zip" }, "environnement": { "CRON_VERBOSE": true, @@ -11,62 +11,22 @@ "tasks": [ { "CronRule": "0 12 * * *", - "FileName": "corhal-hal-green-json", - "RunOnStartup": false - }, - { - "CronRule": "0 13 * * *", - "FileName": "corhal-candidats-hal-green-json", - "RunOnStartup": false - }, - { - "CronRule": "30 13 * * *", "FileName": "corhal-candidats-hal-json", "RunOnStartup": false }, { - "CronRule": "0 14 * * *", - "FileName": "corhal-candidats-nonhal-2014-json", - "RunOnStartup": false - }, - { - "CronRule": "30 14 * * *", - "FileName": "corhal-candidats-nonhal-2015-json", + "CronRule": "30 13 * * *", + "FileName": "corhal-candidats-nonhal-json", "RunOnStartup": false }, { "CronRule": "0 15 * * *", - "FileName": "corhal-candidats-nonhal-2016-json", - "RunOnStartup": false - }, - { - "CronRule": "30 15 * * *", - "FileName": "corhal-candidats-nonhal-2017-json", - "RunOnStartup": false - }, - { - "CronRule": "0 16 * * *", - "FileName": "corhal-candidats-nonhal-2018-json", + "FileName": "corhal-potentials-hal-json", "RunOnStartup": false }, { "CronRule": "30 16 * * *", - "FileName": "corhal-candidats-nonhal-2019-json", - "RunOnStartup": false - }, - { - "CronRule": "0 17 * * *", - "FileName": "corhal-candidats-nonhal-2020-json", - "RunOnStartup": false - }, - { - "CronRule": "30 17 * * *", - "FileName": "corhal-candidats-nonhal-2021-json", - "RunOnStartup": false - }, - { - "CronRule": "0 18 * * *", - "FileName": "corhal-candidats-nonhal-2022-json", + "FileName": "corhal-potentials-nonhal-json", "RunOnStartup": false } ] diff --git a/corhal-dumps/corhal-candidats-hal-green-json.ini b/corhal-dumps/corhal-candidats-hal-green-json.ini deleted file mode 100644 index 541504f..0000000 --- a/corhal-dumps/corhal-candidats-hal-green-json.ini +++ /dev/null @@ -1,60 +0,0 @@ -[use] -plugin = basics -plugin = conditor -plugin = lodex - -[env] -path = currentDate -value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) - -; -; -; Notices de 2014-2022 (jusqu'à maintenant) : -; - **présentes** dans HAL -; - sans lien vers un document plein text -; - respectant les contraintes CCSD d'import (possédant un code RNSR et une catégorie scientifique) -; - identifié par Unpaywall comme étant en open access -; - identifié par Unpaywall comme étant en open access GREEN -; -; fichier généré au format json -; -; - -[replace] -path = q -value = fix('business.sourceUidChain:*hal* AND business.authorsRnsr:* AND classifications.enrichments.hal.code:* AND enrichments.openAccess.unpaywall.isOa:true AND -fulltextUrl:http* AND enrichments.openAccess.unpaywall.oaStatus:green') - - -[CORHALFetch] -url = https://corhal-api.inist.fr -retries = 3 -timeout = 60000 - - -[replace] -path = url -value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') - -[URLFetch] -url = get('url') -json = true -target = result -timeout = 60000 -noerror = true - -[exchange] -value = get('result') - -[dump] -indent = true - -[FILESave] -location = fix(`${env('PWD')}/public/${env('FileName')}`) -identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) -compress = true - -[exchange] -value = get('filename').append(' generated.') - -[dump] -indent = true diff --git a/corhal-dumps/corhal-candidats-hal-json.ini b/corhal-dumps/corhal-candidats-hal-json.ini index 761ae58..cf06862 100644 --- a/corhal-dumps/corhal-candidats-hal-json.ini +++ b/corhal-dumps/corhal-candidats-hal-json.ini @@ -11,18 +11,25 @@ ; ; ; Notices de 2014-2022 (jusqu'à maintenant) : -; - **présentes** dans HAL -; - sans lien vers un document fulltext +; - **présentes** dans HAL +; - sans lien vers un document plein text +; - identifié par Unpaywall comme étant en open access ; - respectant les contraintes CCSD d'import (possédant un code RNSR et une catégorie scientifique) -; - identifiées par Unpaywall comme étant en open access -; +; ; fichier généré au format json ; ; [replace] path = q -value = fix('business.sourceUidChain:*hal* AND business.authorsRnsr:* AND classifications.enrichments.hal.code:* AND enrichments.openAccess.unpaywall.isOa:true AND -fulltextUrl:http*') +value = fix('\ +business.sources:hal \ +AND business.hasFulltext:false \ +AND -fulltextUrl:http* \ +AND enrichments.openAccess.unpaywall.isOa:true \ +AND business.authorsRnsr:* \ +AND classifications.enrichments.hal.code:* \ +') [CORHALFetch] url = https://corhal-api.inist.fr diff --git a/corhal-dumps/corhal-candidats-nonhal-2014-json.ini b/corhal-dumps/corhal-candidats-nonhal-2014-json.ini deleted file mode 100644 index b61908d..0000000 --- a/corhal-dumps/corhal-candidats-nonhal-2014-json.ini +++ /dev/null @@ -1,55 +0,0 @@ -[use] -plugin = basics -plugin = conditor -plugin = lodex - -[env] -path = currentDate -value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) - -; -; -; Notices de 2014 : -; - non présentes dans HAL (selon les critères paramétrés dans le module de dédoublonnage) -; - respectant les contraintes CCSD d'import (possédant un code RNSR et une catégorie scientifique) -; - identifiées par Unpaywall comme étant en open access -; -; fichier généré au format json -; -; - -[replace] -path = q -value = fix('(host.publicationDate.normalized:2014 OR host.electronicPublicationDate.normalized:2014) AND -business.sourceUidChain:*hal* AND business.authorsRnsr:* AND classifications.enrichments.hal.code:* AND enrichments.openAccess.unpaywall.isOa:true') - -[CORHALFetch] -url = https://corhal-api.inist.fr -retries = 3 -timeout = 60000 - -[replace] -path = url -value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') - -[URLFetch] -url = get('url') -json = true -target = result -timeout = 60000 - -[exchange] -value = get('result') - -[dump] -indent = true - -[FILESave] -location = fix(`${env('PWD')}/public/${env('FileName')}`) -identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) -compress = true - -[exchange] -value = get('filename').append(' generated.') - -[dump] -indent = true diff --git a/corhal-dumps/corhal-candidats-nonhal-2015-json.ini b/corhal-dumps/corhal-candidats-nonhal-2015-json.ini deleted file mode 100644 index 00a61c9..0000000 --- a/corhal-dumps/corhal-candidats-nonhal-2015-json.ini +++ /dev/null @@ -1,55 +0,0 @@ -[use] -plugin = basics -plugin = conditor -plugin = lodex - -[env] -path = currentDate -value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) - -; -; -; Notices de 2015 : -; - non présentes dans HAL (selon les critères paramétrés dans le module de dédoublonnage) -; - respectant les contraintes CCSD d'import (possédant un code RNSR et une catégorie scientifique) -; - identifiées par Unpaywall comme étant en open access -; -; fichier généré au format json -; -; - -[replace] -path = q -value = fix('(host.publicationDate.normalized:2015 OR host.electronicPublicationDate.normalized:2015) AND -business.sourceUidChain:*hal* AND business.authorsRnsr:* AND classifications.enrichments.hal.code:* AND enrichments.openAccess.unpaywall.isOa:true') - -[CORHALFetch] -url = https://corhal-api.inist.fr -retries = 3 -timeout = 60000 - -[replace] -path = url -value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') - -[URLFetch] -url = get('url') -json = true -target = result -timeout = 60000 - -[exchange] -value = get('result') - -[dump] -indent = true - -[FILESave] -location = fix(`${env('PWD')}/public/${env('FileName')}`) -identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) -compress = true - -[exchange] -value = get('filename').append(' generated.') - -[dump] -indent = true diff --git a/corhal-dumps/corhal-candidats-nonhal-2016-json.ini b/corhal-dumps/corhal-candidats-nonhal-2016-json.ini deleted file mode 100644 index eea841d..0000000 --- a/corhal-dumps/corhal-candidats-nonhal-2016-json.ini +++ /dev/null @@ -1,55 +0,0 @@ -[use] -plugin = basics -plugin = conditor -plugin = lodex - -[env] -path = currentDate -value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) - -; -; -; Notices de 2016 : -; - non présentes dans HAL (selon les critères paramétrés dans le module de dédoublonnage) -; - respectant les contraintes CCSD d'import (possédant un code RNSR et une catégorie scientifique) -; - identifiées par Unpaywall comme étant en open access -; -; fichier généré au format json -; -; - -[replace] -path = q -value = fix('(host.publicationDate.normalized:2016 OR host.electronicPublicationDate.normalized:2016) AND -business.sourceUidChain:*hal* AND business.authorsRnsr:* AND classifications.enrichments.hal.code:* AND enrichments.openAccess.unpaywall.isOa:true') - -[CORHALFetch] -url = https://corhal-api.inist.fr -retries = 3 -timeout = 60000 - -[replace] -path = url -value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') - -[URLFetch] -url = get('url') -json = true -target = result -timeout = 60000 - -[exchange] -value = get('result') - -[dump] -indent = true - -[FILESave] -location = fix(`${env('PWD')}/public/${env('FileName')}`) -identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) -compress = true - -[exchange] -value = get('filename').append(' generated.') - -[dump] -indent = true diff --git a/corhal-dumps/corhal-candidats-nonhal-2017-json.ini b/corhal-dumps/corhal-candidats-nonhal-2017-json.ini deleted file mode 100644 index 16c06b9..0000000 --- a/corhal-dumps/corhal-candidats-nonhal-2017-json.ini +++ /dev/null @@ -1,55 +0,0 @@ -[use] -plugin = basics -plugin = conditor -plugin = lodex - -[env] -path = currentDate -value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) - -; -; -; Notices de 2017 : -; - non présentes dans HAL (selon les critères paramétrés dans le module de dédoublonnage) -; - respectant les contraintes CCSD d'import (possédant un code RNSR et une catégorie scientifique) -; - identifiées par Unpaywall comme étant en open access -; -; fichier généré au format json -; -; - -[replace] -path = q -value = fix('(host.publicationDate.normalized:2017 OR host.electronicPublicationDate.normalized:2017) AND -business.sourceUidChain:*hal* AND business.authorsRnsr:* AND classifications.enrichments.hal.code:* AND enrichments.openAccess.unpaywall.isOa:true') - -[CORHALFetch] -url = https://corhal-api.inist.fr -retries = 3 -timeout = 60000 - -[replace] -path = url -value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') - -[URLFetch] -url = get('url') -json = true -target = result -timeout = 60000 - -[exchange] -value = get('result') - -[dump] -indent = true - -[FILESave] -location = fix(`${env('PWD')}/public/${env('FileName')}`) -identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) -compress = true - -[exchange] -value = get('filename').append(' generated.') - -[dump] -indent = true diff --git a/corhal-dumps/corhal-candidats-nonhal-2018-json.ini b/corhal-dumps/corhal-candidats-nonhal-2018-json.ini deleted file mode 100644 index 681cfe3..0000000 --- a/corhal-dumps/corhal-candidats-nonhal-2018-json.ini +++ /dev/null @@ -1,55 +0,0 @@ -[use] -plugin = basics -plugin = conditor -plugin = lodex - -[env] -path = currentDate -value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) - -; -; -; Notices de 2018 : -; - non présentes dans HAL (selon les critères paramétrés dans le module de dédoublonnage) -; - respectant les contraintes CCSD d'import (possédant un code RNSR et une catégorie scientifique) -; - identifiées par Unpaywall comme étant en open access -; -; fichier généré au format json -; -; - -[replace] -path = q -value = fix('(host.publicationDate.normalized:2018 OR host.electronicPublicationDate.normalized:2018) AND -business.sourceUidChain:*hal* AND business.authorsRnsr:* AND classifications.enrichments.hal.code:* AND enrichments.openAccess.unpaywall.isOa:true') - -[CORHALFetch] -url = https://corhal-api.inist.fr -retries = 3 -timeout = 60000 - -[replace] -path = url -value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') - -[URLFetch] -url = get('url') -json = true -target = result -timeout = 60000 - -[exchange] -value = get('result') - -[dump] -indent = true - -[FILESave] -location = fix(`${env('PWD')}/public/${env('FileName')}`) -identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) -compress = true - -[exchange] -value = get('filename').append(' generated.') - -[dump] -indent = true diff --git a/corhal-dumps/corhal-candidats-nonhal-2019-json.ini b/corhal-dumps/corhal-candidats-nonhal-2019-json.ini deleted file mode 100644 index 29627d0..0000000 --- a/corhal-dumps/corhal-candidats-nonhal-2019-json.ini +++ /dev/null @@ -1,55 +0,0 @@ -[use] -plugin = basics -plugin = conditor -plugin = lodex - -[env] -path = currentDate -value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) - -; -; -; Notices de 2019 : -; - non présentes dans HAL (selon les critères paramétrés dans le module de dédoublonnage) -; - respectant les contraintes CCSD d'import (possédant un code RNSR et une catégorie scientifique) -; - identifiées par Unpaywall comme étant en open access -; -; fichier généré au format json -; -; - -[replace] -path = q -value = fix('(host.publicationDate.normalized:2019 OR host.electronicPublicationDate.normalized:2019) AND -business.sourceUidChain:*hal* AND business.authorsRnsr:* AND classifications.enrichments.hal.code:* AND enrichments.openAccess.unpaywall.isOa:true') - -[CORHALFetch] -url = https://corhal-api.inist.fr -retries = 3 -timeout = 60000 - -[replace] -path = url -value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') - -[URLFetch] -url = get('url') -json = true -target = result -timeout = 60000 - -[exchange] -value = get('result') - -[dump] -indent = true - -[FILESave] -location = fix(`${env('PWD')}/public/${env('FileName')}`) -identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) -compress = true - -[exchange] -value = get('filename').append(' generated.') - -[dump] -indent = true diff --git a/corhal-dumps/corhal-candidats-nonhal-2020-json.ini b/corhal-dumps/corhal-candidats-nonhal-2020-json.ini deleted file mode 100644 index c4ef536..0000000 --- a/corhal-dumps/corhal-candidats-nonhal-2020-json.ini +++ /dev/null @@ -1,55 +0,0 @@ -[use] -plugin = basics -plugin = conditor -plugin = lodex - -[env] -path = currentDate -value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) - -; -; -; Notices de 2020 : -; - non présentes dans HAL (selon les critères paramétrés dans le module de dédoublonnage) -; - respectant les contraintes CCSD d'import (possédant un code RNSR et une catégorie scientifique) -; - identifiées par Unpaywall comme étant en open access -; -; fichier généré au format json -; -; - -[replace] -path = q -value = fix('(host.publicationDate.normalized:2020 OR host.electronicPublicationDate.normalized:2020) AND -business.sourceUidChain:*hal* AND business.authorsRnsr:* AND classifications.enrichments.hal.code:* AND enrichments.openAccess.unpaywall.isOa:true') - -[CORHALFetch] -url = https://corhal-api.inist.fr -retries = 3 -timeout = 60000 - -[replace] -path = url -value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') - -[URLFetch] -url = get('url') -json = true -target = result -timeout = 60000 - -[exchange] -value = get('result') - -[dump] -indent = true - -[FILESave] -location = fix(`${env('PWD')}/public/${env('FileName')}`) -identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) -compress = true - -[exchange] -value = get('filename').append(' generated.') - -[dump] -indent = true diff --git a/corhal-dumps/corhal-candidats-nonhal-2021-json.ini b/corhal-dumps/corhal-candidats-nonhal-2021-json.ini deleted file mode 100644 index def398c..0000000 --- a/corhal-dumps/corhal-candidats-nonhal-2021-json.ini +++ /dev/null @@ -1,55 +0,0 @@ -[use] -plugin = basics -plugin = conditor -plugin = lodex - -[env] -path = currentDate -value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) - -; -; -; Notices de 2021 : -; - non présentes dans HAL (selon les critères paramétrés dans le module de dédoublonnage) -; - respectant les contraintes CCSD d'import (possédant un code RNSR et une catégorie scientifique) -; - identifiées par Unpaywall comme étant en open access -; -; fichier généré au format json -; -; -[replace] -path = q -value = fix('(host.publicationDate.normalized:2021 OR host.electronicPublicationDate.normalized:2021) AND -business.sourceUidChain:*hal* AND business.authorsRnsr:* AND classifications.enrichments.hal.code:* AND enrichments.openAccess.unpaywall.isOa:true') - -[CORHALFetch] -url = https://corhal-api.inist.fr -retries = 3 -timeout = 60000 - -[replace] -path = url -value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') - -[URLFetch] -url = get('url') -json = true -target = result -timeout = 60000 -noerror = true - -[exchange] -value = get('result') - -[dump] -indent = true - -[FILESave] -location = fix(`${env('PWD')}/public/${env('FileName')}`) -identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) -compress = true - -[exchange] -value = get('filename').append(' generated.') - -[dump] -indent = true diff --git a/corhal-dumps/corhal-candidats-nonhal-2022-json.ini b/corhal-dumps/corhal-candidats-nonhal-2022-json.ini deleted file mode 100644 index ee82126..0000000 --- a/corhal-dumps/corhal-candidats-nonhal-2022-json.ini +++ /dev/null @@ -1,55 +0,0 @@ -[use] -plugin = basics -plugin = conditor -plugin = lodex - -[env] -path = currentDate -value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) -; -; -; Notices de 2022 : -; - non présentes dans HAL (selon les critères paramétrés dans le module de dédoublonnage) -; - respectant les contraintes CCSD d'import (possédant un code RNSR et une catégorie scientifique) -; - identifiées par Unpaywall comme étant en open access -; -; fichier généré au format json -; -; - -[replace] -path = q -value = fix('(host.publicationDate.normalized:2022 OR host.electronicPublicationDate.normalized:2022) AND -business.sourceUidChain:*hal* AND business.authorsRnsr:* AND classifications.enrichments.hal.code:* AND enrichments.openAccess.unpaywall.isOa:true') - -[CORHALFetch] -url = https://corhal-api.inist.fr -retries = 3 -timeout = 60000 - -[replace] -path = url -value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') - -[URLFetch] -url = get('url') -json = true -target = result -timeout = 60000 -noerror = true - -[exchange] -value = get('result') - -[dump] -indent = true - -[FILESave] -location = fix(`${env('PWD')}/public/${env('FileName')}`) -identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) -compress = true - -[exchange] -value = get('filename').append(' generated.') - -[dump] -indent = true diff --git a/corhal-dumps/corhal-candidats-nonhal-green-json.ini b/corhal-dumps/corhal-candidats-nonhal-green-json.ini deleted file mode 100644 index f41b021..0000000 --- a/corhal-dumps/corhal-candidats-nonhal-green-json.ini +++ /dev/null @@ -1,56 +0,0 @@ -[use] -plugin = basics -plugin = conditor -plugin = lodex - -[env] -path = currentDate -value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) - -; -; -; Notices de 2014-2022 (jusqu'à maintenant) : -; - non présentes dans HAL (selon les critères paramétrés dans le module de dédoublonnage) -; - respectant les contraintes CCSD d'import (possédant un code RNSR et une catégorie scientifique) -; - identifiées par Unpaywall comme étant en open access -; - identifiées par Unpaywall comme étant en open access GREEN -; -; fichier généré au format json -; -; -[replace] -path = q -value = fix('-business.sourceUidChain:*hal* AND business.authorsRnsr:* AND classifications.enrichments.hal.code:* AND enrichments.openAccess.unpaywall.isOa:true AND enrichments.openAccess.unpaywall.oaStatus:green') - -[CORHALFetch] -url = https://corhal-api.inist.fr -retries = 3 -timeout = 60000 - -[replace] -path = url -value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') - -[URLFetch] -url = get('url') -json = true -target = result -timeout = 60000 -noerror = true - -[exchange] -value = get('result') - -[dump] -indent = true - -[FILESave] -location = fix(`${env('PWD')}/public/${env('FileName')}`) -identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) -compress = true - -[exchange] -value = get('filename').append(' generated.') - -[dump] -indent = true diff --git a/corhal-dumps/corhal-candidats-nonhal-json.ini b/corhal-dumps/corhal-candidats-nonhal-json.ini new file mode 100644 index 0000000..9e6e07b --- /dev/null +++ b/corhal-dumps/corhal-candidats-nonhal-json.ini @@ -0,0 +1,61 @@ +[use] +plugin = basics +plugin = conditor +plugin = lodex + +[env] +path = currentDate +value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) + +; +; +; Notices de 2014-2022 (jusqu'à maintenant) : +; - non présentes dans HAL (selon les critères paramétrés dans le module de dédoublonnage) +; - identifiées par Unpaywall comme étant en open access (et dont le document n'est pas un lien vers HAL) +; - respectant les contraintes CCSD d'import (possédant un code RNSR et une catégorie scientifique) +; +; fichier généré au format json +; +; +[replace] +path = q +value = fix('\ +-business.sources:hal \ +AND business.authorsRnsr:* \ +AND classifications.enrichments.hal.code:* \ +AND enrichments.openAccess.unpaywall.isOa:true \ +AND -fulltextUrl:(*\\/\\/hal\\.* OR *\\/\\/www.hal\\.* *\\/\\/hal\\-* OR *archives-ouvertes\\.fr*) \ +') + +[CORHALFetch] +url = https://corhal-api.inist.fr +retries = 3 +timeout = 60000 + +[replace] +path = url +value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') + +[URLFetch] +url = get('url') +json = true +target = result +timeout = 60000 +noerror = true + +[exchange] +value = get('result') + +[dump] +indent = true + +[FILESave] +location = fix(`${env('PWD')}/public/${env('FileName')}`) +identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) +compress = true + +[exchange] +value = get('filename').append(' generated.') + +[dump] +indent = true diff --git a/corhal-dumps/corhal-hal-green-json.ini b/corhal-dumps/corhal-hal-green-json.ini deleted file mode 100644 index 7613453..0000000 --- a/corhal-dumps/corhal-hal-green-json.ini +++ /dev/null @@ -1,56 +0,0 @@ -[use] -plugin = basics -plugin = conditor -plugin = lodex - -[env] -path = currentDate -value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) - -; -; -; Notices de 2014-2022 (jusqu'à maintenant) : -; - **présentes** dans HAL -; - sans lien vers un document plein text -; - identifié par Unpaywall comme étant en open access -; - identifié par Unpaywall comme étant en open access GREEN -; -; fichier généré au format json -; -; -[replace] -path = q -value = fix('business.sources:hal AND business.hasFulltext:false AND enrichments.openAccess.unpaywall.isOa:true AND enrichments.openAccess.unpaywall.oaStatus:green') - -[CORHALFetch] -url = https://corhal-api.inist.fr -retries = 3 -timeout = 60000 - -[replace] -path = url -value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') - -[URLFetch] -url = get('url') -json = true -target = result -timeout = 60000 -noerror = true - -[exchange] -value = get('result') - -[dump] -indent = true - -[FILESave] -location = fix(`${env('PWD')}/public/${env('FileName')}`) -identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) -compress = true - -[exchange] -value = get('filename').append(' generated.') - -[dump] -indent = true diff --git a/corhal-dumps/corhal-nonhal-green-json.ini b/corhal-dumps/corhal-nonhal-green-json.ini deleted file mode 100644 index de436b4..0000000 --- a/corhal-dumps/corhal-nonhal-green-json.ini +++ /dev/null @@ -1,55 +0,0 @@ -[use] -plugin = basics -plugin = conditor -plugin = lodex - -[env] -path = currentDate -value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) - -; -; -; Notices de 2014-2022 (jusqu'à maintenant) : -; - non présentes dans HAL (selon les critères paramétrés dans le module de dédoublonnage) -; - identifiées par Unpaywall comme étant en open access -; - identifiées par Unpaywall comme étant en open access GREEN -; -; fichier généré au format json -; -; -[replace] -path = q -value = fix('-fulltextUrl:(*\\/\\/hal\\.* OR *\\/\\/www.hal\\.* *\\/\\/hal\\-* OR *archives-ouvertes\\.fr*) AND -business.sources:hal AND enrichments.openAccess.unpaywall.isOa:true AND enrichments.openAccess.unpaywall.oaStatus:green') - -[CORHALFetch] -url = https://corhal-api.inist.fr -retries = 3 -timeout = 60000 - -[replace] -path = url -value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') - -[URLFetch] -url = get('url') -json = true -target = result -timeout = 60000 -noerror = true - -[exchange] -value = get('result') - -[dump] -indent = true - -[FILESave] -location = fix(`${env('PWD')}/public/${env('FileName')}`) -identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) -compress = true - -[exchange] -value = get('filename').append(' generated.') - -[dump] -indent = true diff --git a/corhal-dumps/corhal-potentials-hal-json.ini b/corhal-dumps/corhal-potentials-hal-json.ini new file mode 100644 index 0000000..3640499 --- /dev/null +++ b/corhal-dumps/corhal-potentials-hal-json.ini @@ -0,0 +1,62 @@ +[use] +plugin = basics +plugin = conditor +plugin = lodex + +[env] +path = currentDate +value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) + + +; +; +; Notices de 2014-2022 (jusqu'à maintenant) : +; - **présentes** dans HAL +; - sans lien vers un document plein text +; - identifié par Unpaywall comme étant en open access +; +; fichier généré au format json +; +; + +[replace] +path = q +value = fix('\ +business.sources:hal \ +AND business.hasFulltext:false \ +AND -fulltextUrl:http* \ +AND enrichments.openAccess.unpaywall.isOa:true \ +') + +[CORHALFetch] +url = https://corhal-api.inist.fr +retries = 3 +timeout = 60000 + +[replace] +path = url +value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') + +[URLFetch] +url = get('url') +json = true +target = result +timeout = 60000 +noerror = true + +[exchange] +value = get('result') + +[dump] +indent = true + +[FILESave] +location = fix(`${env('PWD')}/public/${env('FileName')}`) +identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) +compress = true + +[exchange] +value = get('filename').append(' generated.') + +[dump] +indent = true diff --git a/corhal-dumps/corhal-potentials-nonhal-json.ini b/corhal-dumps/corhal-potentials-nonhal-json.ini new file mode 100644 index 0000000..7a4db5a --- /dev/null +++ b/corhal-dumps/corhal-potentials-nonhal-json.ini @@ -0,0 +1,58 @@ +[use] +plugin = basics +plugin = conditor +plugin = lodex + +[env] +path = currentDate +value = thru(() => new Date()).thru(d => d.getDay()).thru(i => ['Dimanche', 'Lundi', 'Mardi', 'Mercredi', 'Jeudi', 'Vendredi', 'Samedi'][i]).thru(m => env('Startup') ? 'Startup' : m) + +; +; +; Notices de 2014-2022 (jusqu'à maintenant) : +; - non présentes dans HAL (selon les critères paramétrés dans le module de dédoublonnage) +; - identifiées par Unpaywall comme étant en open access (et dont le document n'est pas un lien vers HAL) +; +; fichier généré au format json +; +; +[replace] +path = q +value = fix('\ +-business.sources:hal \ +AND enrichments.openAccess.unpaywall.isOa:true \ +AND -fulltextUrl:(*\\/\\/hal\\.* OR *\\/\\/www.hal\\.* *\\/\\/hal\\-* OR *archives-ouvertes\\.fr*) \ +') + +[CORHALFetch] +url = https://corhal-api.inist.fr +retries = 3 +timeout = 60000 + +[replace] +path = url +value = get('business.sourceUidChain').prepend('https://corhal-api.inist.fr/mergedDocuments/') + +[URLFetch] +url = get('url') +json = true +target = result +timeout = 60000 +noerror = true + +[exchange] +value = get('result') + +[dump] +indent = true + +[FILESave] +location = fix(`${env('PWD')}/public/${env('FileName')}`) +identifier = fix(`${env('FileName')}-${env('currentDate')}.json`) +compress = true + +[exchange] +value = get('filename').append(' generated.') + +[dump] +indent = true