Les deux premiers sujets de travaux pratiques ont pour objectif de concevoir un système multimodal en entrée qui sera développé dans les trois suivants. Le dernier sujet traite de la multimodalité en sortie et de transmodalité (passage d'une modalité vers une ou plusieurs "équivalentes"). The aim of the first two practical topics is to design an input multimodal system, which will be developed in the next three. The last topic deals with multimodal output and transmodality (switching from one modality to one or more "equivalent" ones).
- ivy presentation v 2.7 (FR) (2024) / ivy presentation v. 2.5 (EN) (2021)
- Comment utiliser ivy / How to use ivy - ivy (2022)
- repository ivy : Github ivy
- TP1/Tutorial 1 - Interaction vocale (2023) / Vocal Interaction (2023)
- Les outils utilisés dans le TP / tools used in this tutorial : Agent de reconnaissance vocale / Speech Recognizer agent sra5, agent de synthèse vocale / speech Synthesis agent ppilot5 v 3.3, outil de supervision ivy / ivy monitoring tool Probe ou / or visionneur
- GrXML pour SAPI 5
- SSML pour SAPI 5
Exemple de code Processing permettant l'affichage de la reconnaissance vocale et l'envoi du résultat vers la synthèse vocale / Example of Processing code allowing the text ouptut of speech recognition and sending the result to TTS : dessert
- TP2/Tutorial 2 - Interaction gestuelle (2024) / Gesture Interaction (2023)
Exemple de code Processing permettant l'enregistrement de formes dessinées à l'écran / Example of Processing code for recording shapes drawn on the screen : Enregistrement Forme
Autres ressources / Other resources
- OneDollarIvy (implémentation de l'algorithme du $1 Recognizer) code source
- ICAR (implémentation de l'algorithme de Rubine) code source, fichier jar et documentation
- $N Recognizer
Un peu d'Histoire / A bit of History
- TP3-5/Tutorial 3 to 5 - Moteur de Fusion (2024) / Multimodal Engine (2023)
Exemple de code Processing permettant la gestion de formes géométriques / Example of Processing code for rmanipulating different shapes : Palette
- R. Bolt, "Put-That-There": Voice and Gesture at the Graphics Interface, ACM SIGGRAPH Computer Graphics, Volume 14, Issue 3 Pages 262 - 270 et R. Bolt, Reflexion on ... "Put-That-There": Voice and Gesture at the Graphics Interface
- Sh. Oviatt, Ten Myths on Multimodal Interaction, Communication of the ACM, volume 42, Issue 11, November 1999
-
TP6/Tutorial 6 - Multimodalité en sortie (2022) / Multimodal Fission (2021)
-
Les outils utilisés dans le TP / tools used in this tutorial : agent de synthèse vocale / speech Synthesis agent ppilot5 v 3.3, agent d'affichage braille / braille display agent Braille_display, outil de supervision ivy / ivy monitoring tool Probe ou / or visionneur
- Speech Synthesis Markup Language - SSML et support SSML pour SAPI 5
- autres liens "intéressants"
- seeing with sound : un exemple de transmodalité
- Renault 25 et TTS