Tele-Operation and Virtual Reality: assisting the operator by cognitive modelling of his intentions
Télé-Opération et Réalité Virtuelle : assistance à l’opérateur par modélisation cognitive de ses intentions
Résumé
Given the state-of-the-art in technology, current virtual reality systems must establish a compromise between efficiency and usability : computer screens, although they are easy to use, cannot correctly provide images in three-dimensional form. On the other hand, head mounted displays provide a good stereoscopic view, but these however are cumbersome devices. In order to find a solution to this sort of dilemma, two approaches are possible : the first, rather applicative, approach would be to improve the quality of human-machine interaction by making interfaces more user-friendly. The second, rather theoretical, approach would be to assist the person in his work by diminishing his workload and thereby reducing the quantity of interaction necessary.
Our work deals with the idea of assistance and is therefore of relevance to the second approach mentioned above. From a cognitive point of view, we analyze the idea of assisting the human being within a virtual reality context, and we particularly show the benefit of such a concept of
intention detection as a possible source of intelligent assistance. This work is composed of three parts ; firstly, the elaboration of a cognitive view on virtual reality ; second, a theoretical study of the notion of assistance within virtual reality systems, and finally, an approach which is based on intention detection.
The first part is dedicated the theoretical elaboration of a cognitive characterization of virtual reality. Rather than defining virtual reality as such, we show that it is more interesting to define the virtualisation processes, that is the cognitive mechanisms by which a human being progressively goes from the real situation into virtuality. For instance, in a real situation whereby a human being is sitting down in front of a computer screen, facing a synthetic world, we speak of the idea of “virtualisation” when this person forgets that he is looking at a computer monitor, and ends up believing that his point of view will be affected if he himself moves. In a first step, a cognitive model that describes the interaction between a human being and his environment is provided, known as the MRIC model. We then define the virtualisation processes which allow us to obtain several variants of the initial model, describing the major categories of virtualized situations : CAD situations (with a virtual environment), so-called “immersive” situations (with a virtual representation of the human being) etc.
The second part is dedicated to a theoretical study of the notion of assistance. Our aim is to analyze the different ways assistance can be implemented in virtual reality systems. We begin by producing a model describing the situations whereby a human being interacts with such a system, known as the
LiSA model. This model comprises several components (including an operator, an interface, a virtual reality system. . . ) which interact by exchanging information. When an assistance process is introduced to the situation, this has the effect of modifying the information conveyed within the model components. This allows us to analyze cases of assistance that currently exist in two ways : which component of the model contain the assistance processes, and how do they modify the conveyed information (i.e. by filtering, enrichment, alteration etc.).
The third and final part describes an approach which is based on the concept of intention detection. The idea behind this is to design a system which, bearing in mind the actions performed by the operator at present and the current state of the environment, attempts to determine the global operation that the operator is in the process of executing, and eventually takes control of the same process. First of all, we produce a knowledge representation model used to describe the actions an operator may undertake. Then, we establish the criteria that allow the system to evaluate the probability of a particular action which it knows will be the one undertaken by the operator. In the end we put forward a set of algorithms which may be used to compute these criteria in real time. The proposed intention detection mechanism, in addition to its extension to execution and simulation capabilities, are illustrated through a computer demonstrator, known as the TOASt system.
Compte tenu de l’état de l’art en matière de technologie, les systèmes actuels de réalité virtuelle doivent établir un compromis entre efficacité et utilisabilité : un écran d’ordinateur est d’emploi facile mais ne permet pas une bonne restitution du relief. Réciproquement, un casque de visualisation permet de fournir une vision stéréoscopique, mais constitue un périphérique encombrant. Pour résoudre ce type de dilemme, deux approches sont envisageables : une première approche, plus appliquée, consiste à améliorer la qualité de l’interaction Homme-Machine en perfectionnant les interfaces. Une deuxième approche, plus théorique, consiste à assister l’humain dans sa tâche en diminuant sa charge de travail et donc la quantité d’interaction
nécessaire.
Notre travail porte sur la notion d’assistance et se situe par conséquent dans la deuxième approche : nous analysons sous un angle cognitif la notion d’assistance à l’humain dans un contexte de réalité virtuelle, et nous montrons en particulier l’intérêt du concept de détection d’intentions comme source d’assistance intelligente. Le travail est organisé en trois grandes parties : l’élaboration d’un point de vue cognitif sur la notion de réalité virtuelle, une étude théorique sur la notion d’assistance dans les systèmes de réalité virtuelle, et une approche fondée sur la détection d’intentions.
La première partie est consacrée à l’élaboration théorique d’une caractérisation cognitive du virtuel. Plutôt que de définir le virtuel en tant que tel, nous montrons qu’il est plus intéressant de définir les processus de virtualisation, c’est à dire les mécanismes cognitifs qui font qu’à partir d’une situation réelle, l’humain entre progressivement dans le virtuel. Par exemple, à partir de la situation réelle où un humain est devant un écran d’ordinateur, face à un monde de synthèse, on parlera de «virtualisation» au moment où celui-ci oublie qu’il s’agit d’un écran et pense qu’en se déplaçant, son point de vue sera modifié. Dans un premier temps, un modèle cognitif décrivant l’interaction entre un humain et son environnement est proposé, le modèle MRIC. Les processus de virtualisation sont ensuite définis et nous permettent d’obtenir un certain nombre de variantes de ce modèle, décrivant les grandes
catégories de situations virtualisées : situations de type CAO (avec environnement virtuel), situations dites «immersives» (avec représentation virtuelle de l’humain) etc.
La deuxième partie est consacrée à une étude théorique de la notion d’assistance. Notre objectif est d’étudier de quelle manière l’assistance à l’humain peut être mise en œuvre dans les systèmes de réalité virtuelle. Nous commençons par élaborer un modèle décrivant les situations d’interaction entre un humain et de tels systèmes, le modèle LISA. Ce modèle fait intervenir un certain nombre de composantes (opérateur, interface, système de réalité virtuelle . . . ) qui interagissent en échangeant de l’information. L’apparition d’un processus d’assistance à l’humain dans une situation donnée a pour effet de modifier l’information véhiculée entre les différentes composantes du modèle. Cette particularité nous permet d’analyser des exemples d’assistance caractéristiques des applications actuelles selon deux axes : quelle(s) composante(s) du modèle contiennent ces processus d’assistance, et comment ceux-ci modifient-ils l’information (enrichissement, filtrage, altération. . . ).
La troisième partie décrit une approche fondée sur la détection d’intentions. L’idée générale est de concevoir un système qui, en fonction des actions de l’opérateur et de l’état de l’environnement, tente de déterminer l’opération que celui-ci est en train d’exécuter, et le cas échéant, prend le contrôle de l’exécution. Dans cette optique, nous commençons par présenter un modèle arborescent de représentation des connaissances servant à décrire les actions susceptibles d’êtres entreprises par l’opérateur. Puis, nous établissons les critères permettant au système d’évaluer la probabilité pour qu’une action dont il a connaissance soit effectivement celle entreprise par l’opérateur, puis nous proposons un jeu de processus permettant d’évaluer ces critères à tout instant. Le mécanisme de détection d’intentions proposé, ainsi que son extension à des fonctionalités d’exécution
et de simulation des opérations qu’il est initialement capable de détecter font l’objet d’une illustration à travers un démonstrateur informatique, le système TOASt.
Loading...