Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Validateur GTFS-RT : gérer erreurs de mémoire avec shapes #2832

Closed
AntoineAugusti opened this issue Dec 5, 2022 · 1 comment · Fixed by #3209
Closed

Validateur GTFS-RT : gérer erreurs de mémoire avec shapes #2832

AntoineAugusti opened this issue Dec 5, 2022 · 1 comment · Fixed by #3209
Labels
bizdev Tâches nécessitant l'implication de chargés de déploiement qualité des ressources

Comments

@AntoineAugusti
Copy link
Member

AntoineAugusti commented Dec 5, 2022

Suite de #2212

Actuellement ~3% des validations GTFS-RT n'ont pas pu être effectuée suite à une erreur de mémoire trop importante lors de l'exécution du validateur. Ceci survient quand le fichier shapes.txt est trop grand et qu'on essaie de voir si la position des véhicules est trop éloignée des shapes indiquée.

Quand ceci survient, un utilisateur obtient un erreur assez cryptique avec une stacktrace Java. Toutefois le message d'errreur contient "OutOfMemoryError" qui devrait parler à un utilisateur technique.

Solutions envisagées

  • c'est assez rare pour ne rien faire (arrive dans 3% des validations)
  • tenter par défaut une analyse avec shapes et si on obtient une erreur de mémoire relancer en excluant l'analyse des shapes
  • changer le code pour avoir une heuristique du style "si le fichier shapes.txt est > X Mo je ne fais pas l'analyse des shapes" (en regardant les données le GTFS le plus petit GTFS avec une erreur mémoire fait ~25 Mo)
  • prendre un chiffre de mémoire au hasard (java heap space) et espérer que ce sera suffisant pour faire passer plus de fichiers
  • modifier la validation à la demande en ajoutant une checkbox pour demander d'ignorer l'analyse des shapes par rapport aux vehicle positions

Reste à définir la piste privilégiée

@cyrilmorin cyrilmorin added the bizdev Tâches nécessitant l'implication de chargés de déploiement label Dec 12, 2022
@cyrilmorin
Copy link

@AntoineAugusti comme vu ensemble pour ne pas pénaliser les 97% et si pas trop complexe :
1-adapter le message d'erreur
2- option "tenter par défaut une analyse avec shapes et si on obtient une erreur de mémoire relancer en excluant l'analyse des shapes"

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bizdev Tâches nécessitant l'implication de chargés de déploiement qualité des ressources
Projects
None yet
Development

Successfully merging a pull request may close this issue.

2 participants