Reconnaissance de la parole et traitement du langage naturel
La reconnaissance de la parole consiste à transformer l'onde vocale en une chaîne de mots conformément à un modèle de langage. Pour ce faire, il existe plusieurs méthodes dites analytiques ou holistiques. Elles peuvent avoir recours à des processus d'apprentissage ou non. Un panorama est donné dans l'onglet Télécharger.
Dialogue homme-machine et interaction multimodale
Deux domaines liés
-
La modélisation du dialogue homme-machine s’appuie sur une théorie logique de l’interaction fondée sur une extension de la logique illocutoire du discours, elle-même héritière du courant logique de la philosophie analytique des actes de langage (Austin, Searle). Les éléments de cette théorie sont constitués par les buts dialogiques, les stratégies des jeux de langage et les conditions de succès des actes. La modélisation s'appuie sur une formalisation d’une logique épistémique et d’une logique de l’action par la mise en place de règles de conduite du processus de dialogue selon l’atteinte et la satisfaction des buts. L’apport principal du travail porte sur les stratégies de dialogue et la mise en oeuvre de la notion d'altérité. Des développements récents ont été faits autour de l'interprétation pragmatique (avec une extension de la SDRT au dialogue), la compréhension sémantique et la génération d'énoncés.
-
L’interaction multimodale a pour caractéristique essentielle de prendre en compte non seulement les actes langagiers comme la parole, mais également la gestuelle ou d'autres modalités sensorielles dans la communication homme-machine. Il est de fait que l'on attend de la synergie parole+geste+vision, une meilleure fiabilité des systèmes, un confort d'usage amélioré et surtout une problématique plus enrichissante, visant à faire coopérer tous les modes d'interaction. On compte ainsi en particulier améliorer la robustesse de la reconnaissance de la parole en tenant compte de toutes les informations sensorielles. Ce champ d’étude pose de nouveaux problèmes (fusion des informations, redondance, complémentarité des modes, etc.) et de sérieux espoirs de débouchés pour les futures interfaces homme-machine.
Systèmes développés
-
Le système ICPdraw : un logiciel de dessin à commande multimodale
-
Le système HALPIN : un système de recherche d’information multimodal
-
Le projet PVE : un système générique de dialogue homme-machine
Principale publication : J. Caelen, A. Xuereb (2007). Interaction et pragmatique : jeux de dialogue et de langage. Hermès éditeur, Paris, 332p.
Conception participative et ergonomie cognitive
La conception participative est une méthode de type "centrée utilisateur". Elle fait intervenir tous les acteurs d'un projet d'innovation dès la phase amont pour la conception des systèmes interactifs. Cette méthode s'appuie des disciplines telles que la sociologie, l'économie, l'ergonomie du côté des sciences humaines et du génie logiciel, du design graphique du côté de l'informatique. Des situations réelles nous sont nécessaires pour expérimenter les réalisations et ceci à tous les niveaux : pour la conception des systèmes en partant des usages et des observations, pour la réalisation (incrémentale dans bien des cas) et enfin pour l'évaluation de ces systèmes avec des sujets. Par expérimentation on entend donc aussi bien l’acquisition de corpus ou de traces d’activité à partir de techniques aussi sophistiquées que le Magicien d'Oz que de test de systèmes en phase finale d'évaluation : cela nécessite une maîtrise complète des critères et des protocoles de test.
L'expérimentation constitue la base méthodologie de la recherche pour concrétiser des systèmes de dialogue homme-machine et valider leur pertinence dans divers domaines d'application. Ces domaines d'application sont actuellement :
- la demande de renseignements (documentation, tourisme, e-commerce, entreprise),
- l'aide à la navigation dans les documents hypermédias,
- le dialogue du traducteur,
- la domotique vocale et l'aide aux handicapés.
Principale publication : J. Caelen (2004). Le consommateur au coeur de l'innovation. CNRS éditions, Paris. 212 p.
Le parcours du regard sur un site Web. Les cercles
représentent les zones d'intérêt. Dans cet exemple
la photo n'est pas explorée. On peut en déduire qu'elle
n'est pas utile pour ce site
Living Lab et plateforme d'usage
La plateforme MultiCom a été créée en 1995 et apermis de développer de nombreux projets en partant de l'usage et des utilisateurs.
Selon l’étape du processus de conception du système à laquelle les informations sont recueillies, celles ci permettent :
- l’analyse des activités des utilisateurs, par exemple à des fins de modélisation
- la validation des choix de conception du système aux principales étapes de l’itération
- l’évaluation ergonomique du système afin d’identifier les principaux problèmes et d’y apporter des solutions
Quelques projets réalisés
-
SHIVA : évaluation de sites Web par oculométrie
-
SIRLAN : analyse d’usages en domotique
-
COUCOU : instrumentation d’une plate-forme de conception participative
-
STYLOCOM : stylo communicant
-
ACE : agents conversationnels expressifs
-
ADAMOS : usage en informatique proactive
-
TOAMUTU : traçabilité d'objets communicants
Principale publication : Une plateforme usage pour l’intégration de l’informatique ambiante dans l’habitat - L’appartement DOMUS. Mathieu Gallissot, Jean Caelen, Francis Jambon, Brigitte Meillon. Revue Techniques et sciences informatique, 2013
Intelligence ambiante, bâtiment intelligent et internet des objets
Le concept de « Bâtiment Intelligent » concerne l’ensemble des bâtiments, qu’ils soient neufs, en cours d’utilisation ou à rénover, qu’ils soient résidentiels, tertiaires, industriels ou hospitaliers. Ce marché à venir concernera donc aussi bien les acteurs du bâtiment (maîtres d’ouvrages privés et sociaux, architectes et bureaux d’études, entreprises de construction, gestionnaires, …) que les industriels, fabricants de matériaux, de composants et systèmes énergétiques, les fournisseurs d’énergie, et les acteurs de « l’espace privé » : télécommunications, multimédia, logiciel, micro et nanotechnologies, de la santé et de la sécurité, nouveaux services aux usagers, etc. Ces thématiques du « Bâtiment Intelligent » vont se retrouver à l’interface entre deux mondes et deux marchés qui aujourd’hui se recouvrent peu : celui des occupants des bâtiments, que ce soit dans le cadre de leur vie privée ou professionnelle, et celui du bâtiment (construction, infrastructure,…). Ces deux mondes – et leurs marchés respectifs – sont amenés à se rencontrer via le développement de technologies, qui doivent devenir communes.
