Sound and Multimodal Analysis in Ambient Assisted Living

Analyse sonore et multimodale dans le domaine de l'assistance à domicile

Michel Vacher (1)

1 GETALP - Groupe d’Étude en Traduction Automatique/Traitement Automatisé des Langues et de la Parole

The average age of the population in industrialized countries is steadily increasing. Seniors living alone are more numerous, either because they prefer to live independently, or because of a lack of space in the specialized institutions. We must find solutions allowing them to continue to stay at home comfortably and safely. Smart housings can constitute one of these solutions. One of the biggest challenges in Ambient Assisted Living (AAL) is to develop smart homes that anticipate the health needs of their inhabitants while maintaining their safety and comfort. It is therefore essential to facilitate interaction with the smart home through systems that respond naturally to voice commands, using microphones but no tactile interfaces. This thesis defines the concept of smart home and describes some interesting projects. It then explains how home assistance can take advantage of this concept thanks to sound analysis. The acceptability of a voice interface as part of the intelligent home has been studied through an experiment that showed what are the wishes, expectations and fears of older users, their families, and social workers. Audio analysis in smart homes is a still unexplored research area, the interest and the methods to analyze sound in- formation in a smart home have been studied here in an experiment which helped to highlight the challenges and technological obstacles to be removed in order to use sound information in addition to other modalities and, in the case of speech, distant speech recognition (ASR in remote recording conditions). A practical solution using several microphones is then presented. The intended purpose is to achieve a voice control system which will allow the user to control their environment not only by conventional switches and remote control devices, but also by voice. The advantage of the audio information combined with that of home automation sensors is then revealed through a multimodal analysis making it possible to locate a person in a smart home or to determine their activity. Localization is necessary, for example to determine the context in which a home automation command has been issued. The activity can be used to observe changes in the habits of a person to assist in diagnosis. Finally, the thesis presents the perspectives of research and future projects of the author. It is accompanied by the reproduction of four scientific papers published in refereed selective conferences.

La moyenne d'âge de la population des pays industriels augmente régulièrement. Les personnes âgées vivant seules sont de plus en plus nombreuses, soit parce qu'elles préfèrent vivre de manière autonome, soit par manque de place dans les institutions spécialisées. Il faut donc trouver des solutions leur permettant de continuer à rester chez elles de manière confortable et sûre. Les habitats intelligents peuvent constituer une de ces solutions. Un des plus grands défis dans l'Assistance à la Vie Autonome (AVA) est de concevoir des habitats intelligents pour la santé qui anticipent les besoins de leurs habitants tout en maintenant leur sécurité et leur confort. Il est donc essentiel de faciliter l'interaction avec l'habitat intelligent grâce à des systèmes qui réagissent naturellement aux commandes vocales, en utilisant des microphones et pas des interfaces tactiles. Ce mémoire définit le concept de maison intelligente et présente quelques projets intéressants. Il précise ensuite de quelle manière l'assistance à domicile peut tirer parti de ce concept en s'appuyant sur l'analyse sonore. L'acceptabilité d'une interface vocale dans le cadre de l'habitat intelligent a été étudiée grâce à une expérience qui a montré quels étaient les souhaits, les attentes et les craintes des utilisateurs âgés, de leurs familles, et des travailleurs sociaux. L'analyse audio dans la maison intelligente étant un domaine de recherche encore peu exploré, l'intérêt et la manière d'analyser les informations sonores dans un habitat intelligent sont ensuite abordés par une expérience qui a permis de mettre en évidence les défis et les verrous technologiques qui devront être levés pour pouvoir utiliser les informations sonores en complément des autres modalités, et, dans le cas de la parole, la reconnaissance en conditions d'enregistre- ment distant. Une solution pratique mettant en œuvre plusieurs microphones est ensuite présentée. Le but envisagé est la réalisation d'un système de commande vocale mettant l'utilisateur en mesure de piloter son environnement non seulement par les interrupteurs et télécommandes classiques, mais aussi par la voix. L'intérêt de l'information audio combinée à celle des capteurs domotiques est ensuite mis en évidence au travers d'une analyse multimodale permettant de localiser une personne dans un habitat intelligent ou de déterminer son activité. La localisation est nécessaire, par exemple pour avoir connaissance du contexte dans lequel un ordre domotique a été donné. L'activité peut être utilisée pour observer une évolution des habitudes de la personne pour aider à un diagnostic. Pour finir, le mémoire présente les perspectives de recherche et les projets à venir de l'auteur. Il est accompagné de la reproduction de 4 communications scientifiques publiées dans des congrès sélectifs à comité de lecture.

Mots clés: analyse sonore; interface vocale; reconnaissance de la parole en conditions distantes; analyse multimodale; habitat intelligent; domotique

Domaines: Intelligence artificielle [cs.AI]; Informatique ubiquitaire

Michel Vacher. Analyse sonore et multimodale dans le domaine de l'assistance à domicile. Intelligence artificielle [cs.AI]. Université de Grenoble, 2011. ⟨tel-00956330⟩