Doublons de tests Python avec Make test

[HAEKADI]

Hello hello !

Je suis le fan numéro un d'OpenFisca, mais je viens de rencontrer un problème.

Qu'ai-je fait ?

Exécuter localement la commande make test.

À quoi m'attendais-je ?

L'exécution des tests Python et des tests YAML une seule fois.

Que s'est-il passé en réalité ?

Les tests Python s'exécutent deux fois.

Le problème :

Sur le Makefile la commande test exécute :

pytest
openfisca test --country-package openfisca_france tests

pytest exécute les tests Python sur une session de tests, et puis openfisca test les réexécutes sur une autre session de tests, d'où les tests Python exécutés en doublons.

country-template se contente d'appeler openfisca test.

[MattiSG]

Merci @HAEKADI ! J'ai l'impression que pytest prend entre 20 et 60 secondes d'exécution. Retirer ce doublon permettrait donc d'accélérer les tests d'autant 😃

On peut soit retirer l'appel à pytest dans openfisca test, soit retirer pytest de make test.

@sandcha @benjello à quoi servent les tests Python ? Si l'on considère que openfisca test est un moyen simple pour les contributeurs de vérifier leurs changements, ces tests devraient-ils réellement être exécutés dans openfisca test ? Inversement, si l'on considère que openfisca test est la manière principale de tester OpenFisca France, pourquoi conserve-t-on la commande make test ?

[MattiSG]

Je remarque également dans openfisca/openfisca-core#1027 (comment) que les paramètres sont chargés 4 fois. Si on a l'opportunité de simplement réduire ce nombre de chargements, ça pourrait être utile de le faire au passage 🙂

[benjello]

Les test python testent diverses choses difficile à tester avec des tests de cas types YAML notamment de pas casser un calcul "global" (être capable de calculer le revenu disponible sans casser par exemple).

Je ne suis pas contre de réduire les doublons. Je pense cependant que l'on peut vouloir garder make test pour tester en local sans surprise.

[MattiSG]

Merci @benjello !

Je serais d'avis de considérer que openfisca test devrait être la manière principale de tester OpenFisca France, et donc de retirer le doublon pytest dans make test.