Newer
Older
web-services / affiliations-tools / v1 / rnsr / fasttext.ini

; dev: cat ~/data/corhal/images-addresses-uniq.txt | npx ezs v1/rnsr/fasttext.ini

; Prétraitements:
; - supprimer les virgules (remplacer `, ` par ` ` puis `,` par ` `)
; - supprimer les points (remplacer `. ` par ` ` puis `.` par ` `)
; - enlever les accents
; (- enlever les mots vides (n'a pas été fait pour l'entraînement du modèle))

[use]
; TXTParse
plugin = @ezs/basics
; exec
plugin = @ezs/spawn
; fasttext
; plain = @ezs/local

[TXTParse]

[exchange]
value = thru(s => s.replace(/, /g, ' ').replace(/,/g, ' ')).deburr()

[debug]
text = avant

; [fasttext]
[exec]
; command = ./bin/fasttext
; command = ./v1/rnsr/debug.js
; command = ./v1/rnsr/fasttext-wrapper.mjs
command = ./v1/rnsr/fasttext-wrapper.sh
concurrency = 1
args = predict-prob
args = ./model/auto.bin
args = -
args = 5
args = 0.9

; [TXTParse]
; [CSVParse]
; [JSONParse]

[debug]
text = après

[dump]
indent = true