Travaux de qualification des flux IRVE dynamiques

[thbar]

Voir:

• Sélection des jeux IRVE dynamiques pour le concentrateur #3818 (pour le rapport détaillé tiré de l'output du script de la présente PR)
• Le jeu IRVE dynamique GIREVE n'est pas validé par "data gouv" actuellement (?) #3817

Pour l'utilisation détaillée de ce script mis au goût du jour.

Dans cette PR, je modifie le script scripts/irve/dynamic-irve.exs, qui est maintenant chargé :

• d'interroger "data gouv"
• d'obtenir tous les jeux estampillés etalab/schema-irve-dynamique
• de les télécharger en local
• de compter le nombre de lignes
• de vérifier la présence de certaines colonnes "clés" du schéma (pour asserter la probabilité que ça soit bien au format attendu)
• de vérifier si data gouv considère que c'est valide (mais attention Le jeu IRVE dynamique GIREVE n'est pas validé par "data gouv" actuellement (?) #3817)
• de tenter une validation locale avec frictionless (mais attention à nouveau, Confusion about why this file is not reported invalid frictionlessdata/frictionless-py#1646)

et de sortir des rapports qui nous permettent d'évaluer la situation.

Au passage, le code a été modifié pour devenir un script hybride qui sait s'appuyer sur les dépendances de l'application (car une bonne partie de ce qu'il utilisait est à présent dans l'application elle-même), et enrichi pour mieux répondre aux questions du moment.

Je remets ici une copie d'écran de l'output à des fins de démonstration:

[AntoineAugusti]

Merci pour la mise à jour du script, hâte de voir l'agrégateur IRVE !

Peut-être que tu pourras réutiliser des éléments de la consolidation BNLC pour constituer le CSV final (trouver le séparateur, décoder, encoder ensuite)