Add checks on steps dates

[boogheta]

The backend should perform a few checks on the dates to ensure we have no incoherence like overlapping steps, or steps without any date.

• startdate <= enddate for a step
• enddate of step n <= startdate of step n+1
• steps without date except for steps in discussion
• bonus: add check for missing auteur_depot for initial depots, ex
• bonus: add check for article introduced during CMP or modified between the two hemicycle
• bonus: text modified even with no amendments
• bonus: check for missing articles in the initial text as discovered here Problems parsing first version of some PJLF #118

-> raise an exception

[mdamien]

Pour le premier cas, j'ai aucun dossier affecté mais pour le deuxième j'en ai 84

EDIT: Un warning existe dans senapy ("DATE ORDER IS INCORRECT"), 24 dossiers sont touchés, mais il y a des faux positifs à cause des multiples dépôts et des CMP

EDIT 2: Le troisiéme cas n'arrive jamais aussi, du coup je part sur un check pour le cas 2 seulement

Exemple:

Le script qui pourrait être intégré dans detect_anomalies.py

import json, glob, sys
from os.path import join


for dos_file in glob.glob(join(sys.argv[1], '*/*/procedure.json')):
    with open(dos_file) as f:
        dos = json.load(f)

        prev_step = None
        for step in dos['steps']:
            if not step.get('in_discussion'):
                if step.get('date') > step.get('enddate', '999999999'):
                    print('1er cas>', dos_file)

                if prev_step and step.get('date') < prev_step.get('enddate'):
                    print('2eme cas>', dos_file)
                    print(step.get('date'))

                if not step.get('date'):
                    print('3eme cas>', dos_file)
                    print(step.get('source_url'))

            prev_step = step

[mdamien]

Du coup, j'ai fait une mini-compil pour le Sénat:

Objet: Quelques erreurs sur les dates dans vos dossiers
Bonjour,

En parcourant les dossiers, j'ai pu remarquer de légères erreurs sur les dates, en voici quelques unes :

• http://www.senat.fr/dossier-legislatif/pjl09-405.html : Le texte a été déposé le 10 novembre 2009 et pas 2010
• https://www.senat.fr/dossier-legislatif/ppl13-586.html : Le texte n° 31 à été adopté par le Sénat le 10 et non pas le 11 décembre 2014
• https://www.senat.fr/dossier-legislatif/pjl08-578.html : Le texte n° 134 à été modifié par le Sénat le 23 septembre 2009 et non pas 2008
• https://www.senat.fr/dossier-legislatif/ppl14-430.html : Le texte n° 112 à été adopté par le Sénat le 9 et non le 10 juin 2015
• https://www.senat.fr/dossier-legislatif/pjl12-365.html : Le texte de la commission n° 707 à été déposé le 7 et non le 20 février 2013
• https://www.senat.fr/dossier-legislatif/pjl08-160.html : Le texte n° 1594 à été transmis à l'Assemblée nationale le 8 avril et non le 8 septembre 2009
• http://www.senat.fr/dossier-legislatif/pjl17-259.html : Le texte de la commission n° 575 à été déposé le 18 janvier 2018 et non le 18 février

En vous remerciant très cordialement une fois encore,

C'est du pinaillage de l’extrême, je l'admet complètement !

EDIT: Envoyé !

[boogheta]

me likey, corrigé quelques typos et rajouté encore un peu de vernis à la fin ;)
go!