Mobile augmented reality system for maritime navigation

Système mobile de réalité augmentée pour la navigation maritime

Jean-Christophe Morgère Morgère (1)

1 Lab-STICC - Laboratoire des sciences et techniques de l'information, de la communication et de la connaissance

Compared to the other activities, the sailor's environment has been enhanced with electronic devices in order to help the sailor and improve the security. In case of maritime navigation, these devices are mainly used to give information on the environment which the boat moves such as the water depth, seamarks for instance and its state: bearing, speed, etc. The complexity and the number of devices onboard depend on the boat size, from a wearableGPS on a jet-ski to a complex set of ECDIS, radar and AIS on a merchant ship. Today, despite the evolution of the navigational aid devices, the accidents still happen and they are due in part to human errors (33%). There are 3 main causes: The cognitive load issue. The latter is linked to the complexity of devices (ECDIS for instance [Jie and Xian-Zhong, 2008]); their quantity and their orientations which is different from the bridge view or the user's field of view [Prison and Porathe, 2007]. The information's mobility. Most of the devices onboard are put in a specific place and the data are not accessible outside this place. The lack of practice of the recreational boats owner. The maritime navigation rules are vital to sail safely but some of sailors can forget some significations and an accident may result from a wrong choice.In this thesis, we provide a mobile solution to make accessible data everywhere on the boat. Furthermore, the prototype is based on the augmented reality technology to display data in the user's field of view to reduce cognitive load. Finally, the application run on the prototype delivers only the relevant information for a safe navigation. The first part in this thesis details a user study conducted to understand the sailor's habits and their needs in order to select data to display and their graphical representation. Following this study, a needs analysis on the software and hardware has been realized. The purpose of this analysis is to list the different elements that are usable under maritime constraints (sun, fog, night, swell, mobility) in order to provide a device and a mobile application based on the augmented reality technology.The second part in this thesis reaches the prototype (architecture, display) and the software design. Both of them aim to help the sailors when the weather is bad. The technology used in this new tool is the augmented reality, more precisely an Optical see-Through system. The principle of the application run on the prototype is like a server, which provides services to the user depending on devices available onboard, while limiting the sailor's cognitive load. Indeed, the applications keeps only the useful data and display them in the user's field of view, furthermore they are superimposed on his/her direct view of the world.The last part in this thesis details the chart generator, which allows us to extract maritime data from different chart formats to adopt the 3D one used in the application. The latter is able to automate the placement of the 3D objects to build the buoyage system, landmarks, etc. This generator has been developed to recreate the danger areas such as depth areas, prohibited diving areas and so on. This has been done to satisfy user's expectations from the jet-ski to the yacht owner and the fisher man to the diver for instance.

A l'instar d'autres domaines d'activités, l'environnement du marin s'est enrichi d'appareils électroniques à des fins d'aide à la navigation et de sécurité. Dans le cas de la navigation maritime, ces dispositifs ont pour principal but de donner des informations sur l'environnement dans lequel évolue le bateau: profondeur d'eau, bouées de signalisation par exemple et sur son état: cap, vitesse, etc. La complexité et le nombre d'appareils à bord des bateaux dépendent de la taille du bateau, d'un GPS portatif pour un jet-ski à un ensemble complexe d'ECDIS, de radar et d'AIS sur les cargos. Aujourd'hui, malgré l'évolution des appareils d'aide à la navigation, les accidents perdurent (échouage et collisions) et sont en partie dus aux erreurs humaines (33%). Il existe 3 grandes causes:- La charge cognitive trop importante. Cette dernière est liée à la complexité des appareils (ECDIS par exemple) [Jie and Xian-Zhong, 2008], leurs nombres et leurs orientations différentes de la vue pont [Prison and Porathe, 2007].- La mobilité de l'information. La majorité des appareils électroniques à bord des bateaux est positionné à un endroit et ne permet pas l'accès aux données en dehors de cet emplacement.- Le manque de pratique de plaisanciers. Les règles de navigation sont indispensable à la sécurité du marin et peuvent être oubliées par manque de pratique et causent des incidents (ou accidents). Dans ces travaux, nous proposons une solution mobile pour rendre accessible Les données en tout point du bateau. De plus, le prototype est basé sur la technologie de réalité augmentée pour afficher les données dans le champ de vision de l'utilisateur pour une réduction de la charge cognitive. Enfin l'application exécutée sur le prototype délivre uniquement les informations essentielles pour une navigation sécurisée. La première partie de cette thèse détaille une étude utilisateur menée pour comprendre les habitudes et les besoins des plaisanciers afin de sélectionner les données à afficher et leur représentation graphique. Suite à cette étude, une analyse du besoin logiciel et matériel a été menée. Le but de cette analyse est de lister les différents éléments pouvant supporter les contraintes maritimes (soleil, brouillard, nuit, houle, mobilité) afin de proposer un appareil et une application mobile sur technologie de réalité augmentée. La deuxième partie de cette thèse aborde le design du prototype (architecture, display) et du logiciel. Cet ensemble a pour but d'aider le plaisancier lors de conditions météos difficiles. La technologie mise en œuvre dans ce nouvel outil est la réalité augmentée, plus précisément Optical See-through. Le principe de l'application exécutée sur le prototype est un serveur proposant des services à l'utilisateur en fonction des appareils disponibles à bord du bateau tout en limitant la charge cognitive du marin. En effet, l'application conserve uniquement les informations utiles et les affiche dans le champ de vision de l'utilisateur, de plus elles sont superposées à sa vue directe sur le monde.La dernière partie, elle, décrit le générateur de carte qui nous permet d'extraire les données maritimes issues de différents formats de carte pour les adapter au format 3D utilisé dans l'application. Ce dernier est capable de placer automatiquement des objets 3D pour représenter le système de balisage, les amers, etc. Ce générateur a été développé pour reconstituer des zones interdites comme les zones de profondeurs, d'interdiction de chasse sous-marine, etc. Ceci a été mis en œuvre afin de répondre au mieux aux besoins de tous types de plaisanciers, de l'utilisateur de jet-ski au yacht et du pêcheur au plongeur amateur par exemple.

Mots clés: Augmented reality; Aids to navigation; Systèmes enfouis (informatique)

Mots clés: Réalité augmentée; Aide à la navigation; Système embarqué

Domaines: Systèmes embarqués

Jean-Christophe Morgère Morgère. Mobile augmented reality system for maritime navigation. Embedded Systems. Université de Bretagne Sud, 2015. English. ⟨NNT : 2015LORIS365⟩. ⟨tel-01258911⟩