docs(lda):added coherence system in comment - Pull request #57

leog commented on 9 Nov 2023

added coherence metric.

Now, the output of the ws is in "value" and have the best topic with his words and weight

leog referenced the pull request on 21 Nov 2023

docs(lda):changed output of lda (now in "value") and add "best_topic"

leog merged commit e954696 into master from lda on 21 Nov 2023

leog closed this pull request on 21 Nov 2023

leog deleted the lda branch on 21 Nov 2023

data-computer/v1/lda.py

23	23
24	24	def uniformize(text):
25		# del accents
	25	# del accents, using remove_accents function

parmentf on 21 Nov 2023

Ce commentaire t'est-il utile ?
À moi, non: il décrit simplement la ligne suivante (appel de la fonction remove_accents) et reformule avec un synonyme le nom de la fonction.

Félicitations: le nom de la fonction est suffisamment bien choisi pour ne plus avoir besoin du commentaire !

data-computer/v1/lda.py

46	46
	47	# Max topic
	48	def max_topic(dico):
	49	# for a dictionary of topics, return a json with a single key "best topic" and his value is the value of the dictionary.

parmentf on 21 Nov 2023

M'est avis que c'est l'emplacement idéal pour une docstring, à la place d'un commentaire (mais ce n'est que pure forme).

data-computer/v1/lda.py

21	21	text_with_no_accent = re.sub("[\u0300-\u036f]", "", normalized_text)

parmentf on 21 Nov 2023

Pourquoi ne pas utiliser Unidecode pour translittérer les lettres accentuées?
J'ai l'impression que certains caractères sont purement et simplement supprimés.

leog commented on 21 Nov 2023

Si je ne dis pas de bêtise, les caractères sur cette plage "\u0300-\u036f" sont uniquement les caractères "diacritiques combinatoires" : un " ê " s'encode comme " ^e " et seul le " ^ " est supprimé.

Cela évite d'installer une dépendance en plus, mais si tu penses que c'est mieux je peux le modifier en conséquent (re est installé de base avec python 3.8+).

parmentf commented on 21 Nov 2023

J'avais oublié ce fonctionnement.
Une dépendance de moins, c'est pas mal.
C'est juste au prix d'un code un peu plus long.
Laisse comme ça :)

leog removed the do not merge label on 21 Nov 2023

docs(lda):added coherence system in comment #57