Améliorer le remplissage automatique de "Département" et "Ville" sur admin

[YodBetYod]

1. Lors de mes imports de cantines, je me suis aperçu que les champs "Département" et "Ville" étaient parfois automatiquement remplis, parfois pas remplis (cf. captures d'écran en PJ). Pourtant, dans les deux cas, j'ai renseigné à chaque fois le code postal, mais pas le code INSEE.

=> Est-ce que je peux, de mon côté, améliorer mon processus d'import pour que ces infos soient systématiquement renseignées automatiquement ou est-ce que la base de données a un problème d'automatisation pour ces infos? Je peux vous fournir mes fichiers d'import si besoin. @JenniferStephan @hfroot @alemangui

2. Par ailleurs, même quand ces deux champs sont automatiquement renseignés, la commune indiquée n'est pas forcément la bonne. Par exemple, pour les collèges de la Sarthe, j'ai dû corriger le nom de la commune pour 75% à 90% des cantines. Cela est dû au fait qu'un seul code postal peut correspondre à plusieurs communes différentes.

=> Je propose qu'on ajoute une colonne "Commune" dans le tableau d'import, colonne que les référents en collectivité rempliraient (c'est une information tellement facile à avoir pour eux que beaucoup d'entre eux désignent les collèges plus volontiers par le nom de la commune dans laquelle ils se trouvent que par le nom de l'établissement). Qu'en pensez-vous?

Exemple d'un remplissage automatique qui a fonctionné : les collèges de la Sarthe (créés le 5 août).

Exemple d'un remplissage qui n'a pas fonctionné : les collèges de l'Isère (créés le 9 août).

[valeriemerle]

Je pense que le code postal n'est pas le bon item pour retrouver la commune le numero INSEE est unique alors que le code postal peut etre identique à plusieurs communes. Le remplissage automatique du champ ville ou commune (mieux) doit se faire à partir de la base INSEE je pense. Cependant pour les utilisateurs ce numéro n'est pas bien connu au contraire du code postal.

[YodBetYod]

Je ne pense pas que la saisie du code INSEE plutôt que le code postal résolve notre problème car :

• On n'a malheureusement pas le code INSEE sur le fichier clean. Donc si l'utilisateur n'a pas les codes INSEE de ses cantines, on ne peut pas les remplir à sa place sur un fichier d'import.
• De mémoire, il me semble qu'à la suite de l'import d'un fichier sur lequel il avait renseigné les codes INSEE, les cantines qu'André avait créées n'avait – étonnamment – pas de "Ville" renseignée. Tu confirmes, @gauthierandre ?

[YodBetYod]

Une utilisatrice m'a fait remarquer que ce serait bien pour elle de voir la commune de ses cantines s'afficher : comme elle gère des collèges qui portent le même nom, cela lui permettrait de les différencier rapidement sans avoir à consulter le SIRET.

[alemangui]

S'afficher où ? Dans les cartes cantine ?

[YodBetYod]

Ici (cf. PJ). Mais je vois que c'est déjà le cas. Je retire donc ma demande.

[alemangui]

😞 Problème

En effet le remplissage du code postal ou même du code INSEE ne garantit pas les données géographiques. Voici les raisons principales :

1- Nous utilisons une API (api-adresse.data.gouv.fr) pour obtenir ces informations. Ce service peut ne pas répondre des fois. Ce le cas par exemple le 22 août, ou l'API n'a pas répondu pour deux imports massifs.
2- Le code postale peut contenir plusieurs communes.

Même si on utilisait le SIRET comme source des données géo, on pourrait aussi se confronter à ce problème des API qui ne répondent pas des fois.

😃 Possible solution

On avait prévu depuis un moment de mettre un place un bot qui aurait deux finalités :

• 1. Prendre les cantines sans commune avec un code postale ou code INSEE, et re-jouer la requête pour remplir les données géo manquantes, et
• 2. (Peut-être dans un deuxième temps) prendre les cantines sans aucune donnée géo (code postale, code INSEE) et envoyer un email au(x) gestionnaire(s) pour les inviter à remplir ces informations

🤖 Détails plus techniques

Aujourd'hui, la plupart d'erreurs qu'on a avec l'API Geo sont liés à la lenteur de celle-ci. Pour l'import massif, nous sommes dans le cas d'une action déclenchée par un utilisateur dans son navigateur, donc on ne peut pas trop tarder à la traiter - sinon le navigateur peut afficher un message d'erreur, ou la connexion être coupée au but d'un certain temps. C'est pourquoi on met un Timeout - une fenêtre de temps maximale qu'on peut se permettre d'attendre la réponse de l'API Geo. Cette fenêtre de temps est souvent épuisée et donc on n'a pas les données géographiques.

Ce ne serait pas pareil pour le bot, car le bot aurait sollicité l'API sans un navigateur ni une personne qui attend à l'autre bout. Donc le bot géo pourrait attendre aussi longtemps que nécessaire, ce qui aiderait au remplissage des communes dans les cantines.

---

Cela nous permettrait au fur et à mesure d'avoir moins en moins de cantines sans commune, et d'identifier plus facilement les cantines ayant un réel problème avec les données géo.

[alemangui]

Développement du bot sur cette PR : #1829

[YodBetYod]

Merci pour ces explications détaillées très intéressantes, @alemangui! Perso, j'y vois désormais beaucoup plus clair.