Feat/allow program list with all taxref #430

andriacap · 2024-12-05T07:58:32Z

Cette PR fait référence à la suppression de la limite des 100 taxons, plus précisémment autoriser des programmes dans citizen avec tout taxref.

Voici l'ensemble des changements proposés dans cette PR :

Backend :
- Mise en compatibilité avec Taxhub V2
  - Utilisation de la route taxref à la place de bibnoms
- Suppression toutes les références de taxhub_full_lists (liste qui était mis en cache coté backend).
- Ajout des routes pour obtenir les types de médias et les attributs bib.
- Ajout des paramètres à la route "get_lists" afin d'utiliser une liste de cd_nom en tant que paramètres de requête.
- Modification de la docstring pour la fonction "get_lists".
- Ajout une fonction "set_taxa_info_from_taxhub" pour ajouter des informations de taxhub (taxref et médias) aux nouvelles observations (newobs).
Frontend :
- Ajout d'un composant de recherche avec autocomplétion en appelant la route taxhub allnamebylist
- Ajout globalCacheService pour obtenir et définir les types de médias et les attributs bib.
- Ajout des appels aux routes API dans taxhubService pour obtenir les Médias et les BibAttributs et utilisation de loadAndCacheData pour utiliser globalCacheService basé sur la réponse de la route API appelée.
- Ajout d'une interface pour utiliser les types autant que possible.
- Ajout d'une méthode this._taxhubService.setMediasAndAttributs afin de filtrer les médias (photo, photo principale et photo citoyen) et de filtrer sur l'attribut "nom_francais".
- Mise en commentaires de l'ancien code "Autocomplete" (à supprimer une fois validé)
- Utilisation de la méthode de filtrage du service : this._taxhubService.filterMediasTaxhub dans l'étape "congrats" pour utiliser le premier médias de type valide si aucune photo n'a été ajouté à l'observation
- Utilisation d'une méthode "getPreferredName" pour pouvoir enregistrer la bonne valeur dans la propriété "name" des observations et afficher cette valeur dans la liste des observations d'un programme.
Global :
- Ajout des commentaires à toutes les références qui semblent être inutiles désormais. (voir commentaires commençant par : TODO: [LIMIT100-TAXON-COMPAT-THV2] )
- AJout d'un nom de branch alembic

Toutes les issues et PR qui sont liées à ce sujet :

PRs:
- https://github.com/PnX-SI/GeoNature-citizen/pulls (à FERMER --> toutes les modifications sont dans cette PR)
- feat: change component to select species (wip) #381 (à FERMER une fois que celle ci sera validée --> toutes les modifications sont dans cette PR)
Issues:
- [Observations] Amélioration de la fonctionnalité autocomplete de taxon #327

- Change api - Add branch label to use flask db status - WIP: fix error on types medias Reviewed-by: andriacap

- Comment method axhub_rest_get_taxon no more used - Use function to format response from taxref - Apply black - Add todos and notes to explain code / comments Reviewed-by: andriacap

- Adapt code where taxhub_full_list is called -> change route -> change information to display in frontend based on length of programm list and information stored (name, medias) -> Rename taxonomy component for research autocomplete research Reviewed-by: andriacap

- Change way to sort Species - Add detect refresh observations for observedSpecies - Add load medias when post new obs in order to get images from new obs - Refact to get photoUrl to display in list observations Reviewed-by: andriacap

Reviewed-by: andriacap

- Change path default image - Change name displayed for added obs Reviewed-by: andriacap

- Use label priorities - Fix problem that preferred is called twice Reviewed-by: andriacap

-Backend - Remove all references of taxhub_full_lists (list in cache backend) - Add routes to get medias types and bibattributs - Add params to route "get_lists" in order to use query params list of cd_nom - Change docstring for "get_lists" - Add function "set_taxa_info_from_taxhub" to add information taxhub (taxref and medias) to newobs - Frontend: - Add globalCacheService to get and set medias types and bibattributs - Add api route in taxhubService to get Medias and BibAttributs and loadAndCacheData to use globalCacheService based on return of api route called - Add interface to use typing as much as possible - Add call to this._taxhubService.setMediasAndAttributs in order to filter on medias (photo, photo principale and photo citizen) and to filter on attribut "nom_français" - Comment old "Autocomplete" code - Use filtered method service : this._taxhubService.filterMediasTaxhub in step of "congrats" in order to use first photo, if not medias taxhub - Global: - Add comments to all references seems to be useless now Reviewed-by: andriacap

hypsug0 · 2024-12-15T21:35:28Z

@andriacap , pourras-tu compléter le fichier docs/CHANGELOG.md avec notamment les prérequis et changements (si nécessaire) à apporter pour cette montée en version ? Merci!

- use relative path to import in frontend - Use Taxon interface instead of TaxonBase Reviewed-by: andriacap

andriacap · 2024-12-16T12:14:38Z

Yes je vais le compléter !

backend/gncitizen/core/observations/routes.py

hypsug0 · 2024-12-16T21:20:08Z

backend/gncitizen/core/observations/routes.py

+        else:
+            taxon_list_data = None
+
+        features_with_taxhub_info = set_taxa_info_from_taxhub(taxon_list_data, features)


set_taxa_info_from_taxhub attends un dictionnaire une clé "items", hors, taxon_list_data peut être null, notamment si l'on a pas d'observations (après création d'un programme vierge par exemple)

Normalement ici on est dans le cas d'un post avec le "commit" en base de données qui est fait juste avant . On est pas censé avoir un programme vierge . Par contre autre question est ce qu'on peut avoir un programme sans list taxonomique ?

traité

réponse à la question:

si programme via l'interface: pas possible

si via la bdd: possible

hypsug0 · 2024-12-16T21:57:02Z

frontend/src/app/programs/observations/form/form.component.html

            <!-- TAXON SELECT -->
-            <div class="row">
+            <div class="row" *ngIf="!loading">


Maintenant que le nom_francais de bib_noms n'existe plus, il est plus probable de se retrouver avec des taxons sans attribut nom francais ni nom vernaculaire officiel taxref. Ces taxons n'ont alors plus de nom dans citizen (vide total). Il faut réadapter les règles avec affichage par ordre de priorité:

Attribut nom_francais (si attribut existe) > fait

Nom vern (1ère valeur éclatée par les virgules?) > fait

Nom scientifique. > manquant

cf. lignes avec:

!!s.nom_francais ? s.nom_francais : s.taxref.nom_vern

Ok voir méthode getPreferredName que j'ai mis en place pour que j'utilise dans l'autocomplete pour la sauvegarde du "name" en BDD. (je peux changer l'ordre et enlever des champs si non nécessaire)

frontend/src/app/api/taxhub.service.ts

frontend/src/app/programs/observations/form/form.component.css

hypsug0 · 2024-12-16T23:04:15Z

frontend/src/app/search-taxonomy/taxonomy-autocomplete.component.ts

+    // ** Pour changer la valeur affichée */
+    @Input() displayedLabel = 'nom_vern';
+    /** Afficher ou non les filtres par regne et groupe INPN qui controle l'autocomplétion */
+    @Input() displayAdvancedFilters = false;


Comment rendre activable/désactivable cette propriété displayAdvancedFilters (désactivée par défaut)? Cette propriété n'est pas utilisée dans l'appel du composant depuis le formulaire.

Je dirait qu'il y a un travail d'UX à affiner sur l'affichage et l'ergonomie (bouton d'activation en dessous, champs de préfiltrage au dessus). Quand au champ de recherche en autocomplete, je le verrai bien avec la largeur complète de la modal, comme le select de la liste de plus courte.

Quand on cache ces champs supplémentaires de recherche, ils restent quand même utilisés pour le filtrage de la recherche. Il faudrait vider leurs valeurs dans l'appel d'API.

mise en forme avec le select

Les champs supplémentaires Règne et Groupe sont effectivement désactivables et pas souhaitables il me semble . Vu que je m'étais appuyé sur le composant existant présent dans GeoNature il y avait ces options d'embarquées. Mais je peux les supprimés étant donné que ce n'était pas demandé dans les développements

Oui, selon moi ces filtres sont superflus et compliquent l'interface et sa compréhension.

backend/migrations/versions/e8c1cd57ad16_init_v1_0_0.py

hypsug0 · 2024-12-16T23:50:24Z

backend/gncitizen/utils/taxonomy.py

+            "taxref": {
+                "cd_nom": item.get("cd_nom"),
+                "cd_ref": item.get("cd_ref"),
+                "cd_sup": item.get("cd_sup"),


Ne peux-t-on pas réduire ce dictionnaire au strict nécessaire ? beaucoup de champs peuvent sauter
(cd_sup, cd_taxsup, id_rang, id_statut, lb_auteur, tribu, url, ordre, classe, regne, etc.)

Pour moi en tant que dev je suis ce qui est souhaité niveau métier . S'il y a consensus sur le fait de ne pas avoir besoin de tout ces champs , je réduis au nombre souhaité (il faut être sur que ce n'est pas appelé ailleurs , synthèse de citizen ? fiche détails ? autre part ?) .

J'avais mis cette NOTE d'ailleurs

https://github.com/naturalsolutions/GeoNature-citizen/blob/6906ac17c329a0f5385782477b1ab6175ee217fc/backend/gncitizen/utils/taxonomy.py#L183

traité

c'est une piste d'optimisation. Les champs sont utilisés à différents endroits de l'appli, notamment la synthèse. Il nous semble plus judicieux de faire cette modif, si nécessaire, dans un second temps.

hypsug0 · 2024-12-16T23:51:25Z

backend/gncitizen/core/taxonomy/routes.py

    except Exception as e:
        return {"message": str(e)}, 400
+
+
+@taxo_api.route("/taxonomy/tmedias/types", methods=["GET"])


C'est donc pas exclusivement géré côté frontend ?

ce sont uniquement la définition des routes qui sont coté backend . Ca permet de garder une homogénéité dans la gestion des routes API (notamment pour le renvoi des erreurs) . Par contre , les modifications n'utilisent plus la mise en cache coté backend (ce qui était le cas pour les taxhub_list) . Ce qui a été dit lors de la réunion, proposé et expliqué par Amandine c'était d'avoir une mise en cache des types de médias et attributs coté frontend (et c'est le cas dans la PR , voir le globalCacheService) .

hypsug0 · 2024-12-16T23:51:34Z

backend/gncitizen/core/taxonomy/routes.py

+  except Exception as e:
+      return {"message": str(e)}, 400 
+
+@taxo_api.route("/taxonomy/bibattributs", methods=["GET"])


C'est donc pas exclusivement géré côté frontend ?

ce sont uniquement la définition des routes qui sont coté backend . Ca permet de garder une homogénéité dans la gestion des routes API (notamment pour le renvoi des erreurs) . Par contre , les modifications n'utilisent plus la mise en cache coté backend (ce qui était le cas pour les taxhub_list) . Ce qui a été dit lors de la réunion, proposé et expliqué par Amandine c'était d'avoir une mise en cache des types de médias et attributs coté frontend (et c'est le cas dans la PR , voir le globalCacheService) .

hypsug0 · 2024-12-16T23:55:07Z

backend/gncitizen/core/taxonomy/routes.py

-@taxo_api.route("/taxonomy/refresh", methods=["GET"])
-@json_resp
-def refresh():
-    lists = refresh_taxonlist()


Attention, le rafraichissement des listes taxhub (juste la liste des listes) se fait avec cette API.

Ok donc s'il y a seulement ça qui est utilisé : taxhub_lists , je dois enlever juste cette partie :

https://github.com/naturalsolutions/GeoNature-citizen/blob/6906ac17c329a0f5385782477b1ab6175ee217fc/backend/gncitizen/utils/taxonomy.py#L129-L137

- Replace nom_francais / nom_vern by "name" property Reviewed-by: andriac

Reviewed-by: andriacap

Use getPreferredName method everywhere needs to display taxon name . Use click event in select in order to update cd_nom control form Reviewed-by: andriacap

Reviewed-by: andriac

Reviewed-by: andriacap

- Refactored route all_observations to manage empty taxhub_list. Reviewed-by: andriacap

- Remove unused code according to list taxhub loaded in backend - Keep /refresh route to allow taxhub to refresh its list of taxref calling 'biblistes' API route. Reviewed-by: andriacap

- Increase limit of 100 for the route /taxonomy/list (before it was 5) Reviewed-by: andriacap

- First call infos for allprograms list to get count taxon in program taxhub list - Then call route api to get species list with cd_nom in order to get medias and attributes (in case of taxaCount < taxaAutocompleteThreshold) Reviewed-by: andriacap

Remove code references to old way for autocomplete Reviewed-by: andriacap

- Add a new feature to allow program list with all taxref - WIP: need to precise version number Reviewed-by: andriacap

andriacap · 2025-01-03T09:24:58Z

@andriacap , pourras-tu compléter le fichier docs/CHANGELOG.md avec notamment les prérequis et changements (si nécessaire) à apporter pour cette montée en version ? Merci!

C'est bon j'ai ajouté les changelog. Je rédige pas souvent de changelog , j'ai essayé de me baser sur les autres notes de version qui ont été faite sur citizen.
Ne pas hésiter à proposer des modifications

docs/CHANGELOG.md

Co-authored-by: Camille Monchicourt <camille.monchicourt@ecrins-parcnational.fr>

- need to change way to call getrPreferredName Reviewd-by: andriacap

Reviewed-by: andriacap

andriacap added 8 commits December 10, 2024 17:16

feat(wip): compatibility with TH v2

379165f

- Change api - Add branch label to use flask db status - WIP: fix error on types medias Reviewed-by: andriacap

feat: manage resp taxref to use medias and attrib

6a877a5

- Comment method axhub_rest_get_taxon no more used - Use function to format response from taxref - Apply black - Add todos and notes to explain code / comments Reviewed-by: andriacap

fix: sort Species and refresh select & photo list

eafba99

- Change way to sort Species - Add detect refresh observations for observedSpecies - Add load medias when post new obs in order to get images from new obs - Refact to get photoUrl to display in list observations Reviewed-by: andriacap

fix: erased on typing input

28aedd0

Reviewed-by: andriacap

fix: congrats add obs default img and name obs

ddfbb57

- Change path default image - Change name displayed for added obs Reviewed-by: andriacap

fix: displayed format label in input autocomplete

979ae29

- Use label priorities - Fix problem that preferred is called twice Reviewed-by: andriacap

andriacap force-pushed the feat/allow-program-list-with-all-taxref branch from a92ecce to 6d73eff Compare December 10, 2024 16:17

andriacap marked this pull request as ready for review December 10, 2024 16:52

fix(front): relative url and use of interface Taxon

6906ac1

- use relative path to import in frontend - Use Taxon interface instead of TaxonBase Reviewed-by: andriacap

hypsug0 reviewed Dec 16, 2024

View reviewed changes

backend/gncitizen/core/observations/routes.py Outdated Show resolved Hide resolved

hypsug0 reviewed Dec 16, 2024

View reviewed changes

andriacap added 5 commits December 18, 2024 10:13

fix: display name observation specie

b01b3c4

- Replace nom_francais / nom_vern by "name" property Reviewed-by: andriac

fix: initialize variable list cd_nom_list

5118145

Reviewed-by: andriacap

fix: taxon Select returning cd_nom

877b602

Use getPreferredName method everywhere needs to display taxon name . Use click event in select in order to update cd_nom control form Reviewed-by: andriacap

refact: use same spinner used in index.html

178417b

Reviewed-by: andriac

refact: remove unused regnes and group filters

6d7c90b

Reviewed-by: andriacap

andriacap force-pushed the feat/allow-program-list-with-all-taxref branch from cfa986b to 6d7c90b Compare December 18, 2024 09:41

andriacap added 9 commits December 18, 2024 17:54

fix: ux input form control valid/invalid

c08277f

Reviewed-by: andriacap

refact: use list Attributs

03f1ed8

Reviewed-by: andriacap

docs: add comment lines for unused code

f339363

Reviewed-by: andriacap

fix: manage taxhub_list empty in route all_observations

5d5c37f

- Refactored route all_observations to manage empty taxhub_list. Reviewed-by: andriacap

fix: keep /refresh route and remove unused code

9196bdb

- Remove unused code according to list taxhub loaded in backend - Keep /refresh route to allow taxhub to refresh its list of taxref calling 'biblistes' API route. Reviewed-by: andriacap

fix: se limit up to 100 for route /taxonomy/list

41b6548

- Increase limit of 100 for the route /taxonomy/list (before it was 5) Reviewed-by: andriacap

style: remove unused code in form component

773d397

Remove code references to old way for autocomplete Reviewed-by: andriacap

docs: add changelog for version X.X.X

18dad28

- Add a new feature to allow program list with all taxref - WIP: need to precise version number Reviewed-by: andriacap

camillemonchicourt reviewed Jan 3, 2025

View reviewed changes

edelclaux and others added 25 commits January 14, 2025 16:52

Reformulation dans Update docs/CHANGELOG.md

3a8456f

Co-authored-by: Camille Monchicourt <camille.monchicourt@ecrins-parcnational.fr>

Reformulation dans Update docs/CHANGELOG.md

fe439a0

Co-authored-by: Camille Monchicourt <camille.monchicourt@ecrins-parcnational.fr>

Reformulation dans Update docs/CHANGELOG.md

6164410

Co-authored-by: Camille Monchicourt <camille.monchicourt@ecrins-parcnational.fr>

Reformulation dans Update docs/CHANGELOG.md

6b69fd7

Co-authored-by: Camille Monchicourt <camille.monchicourt@ecrins-parcnational.fr>

Reformulation dans Update docs/CHANGELOG.md

2981f85

Co-authored-by: Camille Monchicourt <camille.monchicourt@ecrins-parcnational.fr>

Reformulation dans Update docs/CHANGELOG.md

febe6dc

Co-authored-by: Camille Monchicourt <camille.monchicourt@ecrins-parcnational.fr>

Reformulation dans Update docs/CHANGELOG.md

f9d163d

Co-authored-by: Camille Monchicourt <camille.monchicourt@ecrins-parcnational.fr>

Reformulation dans Update docs/CHANGELOG.md

5aa5793

Co-authored-by: Camille Monchicourt <camille.monchicourt@ecrins-parcnational.fr>

fix: remove extra bnew line

3caf1ee

lint: adjust global cache service

2412fbe

fix: suppression de console.log

f19d74a

fix: suppression de console.log

ab48b9a

refact(wip): validation component with all taxref

8b93239

- need to change way to call getrPreferredName Reviewd-by: andriacap

chore: use field notation

bea4ec5

o: any --> observation.features

6f2e378

feat: mutualize getPReferredName

efc1f49

feat: add constant in congrats.component

267d98b

chore: obs type + name in congrats

845d98a

chore: remove comment and console.log in obs component

c4dfdf7

chore: NOTES -> TODO

e551ba7

chore: use const + comprehension to handle taxref attrivutes

9ed9450

fix: remove ',' on reformat taxa

bf79708

Reviewed-by: andriacap

fix: type updatedObservation after validation

737d7d4

Reviewed-by: andriacap

refact: improve limit in select value for taxon

e713019

Reviewed-by: andriacap

style: remove console.log

f86f4be

Reviewed-by: andriacap

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Feat/allow program list with all taxref #430

Feat/allow program list with all taxref #430

andriacap commented Dec 5, 2024 •

edited by hypsug0

Loading

hypsug0 commented Dec 15, 2024

andriacap commented Dec 16, 2024

hypsug0 Dec 16, 2024

andriacap Dec 17, 2024

edelclaux Jan 15, 2025

hypsug0 Dec 16, 2024

andriacap Dec 17, 2024 •

edited

Loading

edelclaux Jan 15, 2025

hypsug0 Dec 16, 2024

andriacap Dec 17, 2024

camillemonchicourt Dec 17, 2024

edelclaux Jan 15, 2025

hypsug0 Dec 16, 2024

andriacap Dec 17, 2024

edelclaux Jan 15, 2025

hypsug0 Dec 16, 2024

andriacap Dec 17, 2024

edelclaux Jan 15, 2025

hypsug0 Dec 16, 2024

andriacap Dec 17, 2024

edelclaux Jan 15, 2025

hypsug0 Dec 16, 2024

andriacap Dec 17, 2024

edelclaux Jan 15, 2025

andriacap commented Jan 3, 2025

Feat/allow program list with all taxref #430

Are you sure you want to change the base?

Feat/allow program list with all taxref #430

Conversation

andriacap commented Dec 5, 2024 • edited by hypsug0 Loading

Toutes les issues et PR qui sont liées à ce sujet :

hypsug0 commented Dec 15, 2024

andriacap commented Dec 16, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

andriacap Dec 17, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

andriacap commented Jan 3, 2025

andriacap commented Dec 5, 2024 •

edited by hypsug0

Loading

andriacap Dec 17, 2024 •

edited

Loading