Adaptation of discrete and continuous intracranial Brain-Computer Interfaces using neural correlates of task performance decoded continuously from the sensorimotor cortex of a tetraplegic.
Adaptation d'Interfaces Cerveau-Machines discrètes et continues grâce à des corrélats neuronaux de performance de tâche détectés continuellement dans le cortex sensorimoteur d'un tétraplégique
Résumé
Brain-computer interfaces (BCIs) transform neural signals into commands for effectors. They are mainly used as tools for functional compensation of impaired functions in disabled subjects. The Clinatec clinical trial “BCI and tetraplegia” aims at providing a proof of concept of long-term functional compensation of upper and lower limbs motor deficits in tetraplegics using a BCI. The clinical trial showed promising results for compensation of motor functions. However, the BCI’s usability remains to be improved. The decoder used to estimate the user’s intention from the processed neural signal (control decoder) must be fitted before the BCI can be used. This is done during dedicated training sessions, during which the user is directed to perform specific motor imagery tasks. Training sessions have to be held regularly in order to update the control decoder due to degradation of performances with time. This thesis proposes to limit the negative impact of training sessions. In this work, the control decoder is trained and updated using inferred labels instead of labels acquired during a dedicated training session. The labels are inferred using the output of the control decoder and neural correlates of task performance. In order to be usable in state-of-the-art motor BCIs, the adaptation process must be possible for control decoders with multiple discrete or continuous outputs. We argue that adaptation of a control decoder with multiple continuous outputs is best done using neural correlates of task performance that can be decoded continuously in time. Additionally, these neural correlates should be detected in the sensorimotor cortex due to the position of the implanted neural acquisition system. Using multiple ECoG datasets from a tetraplegic enrolled in the Clinatec BCI clinical trial, we show in this thesis that it is possible to detect such continuous in time neural correlates of task performance from the sensorimotor cortex, that control decoder labels can be inferred using these neural correlates, and finally that these labels can be used to successfully train decoders for discrete or continuous control. The subject used motor imagery to control a binary avatar (Runner MI dataset), a virtual exoskeleton with four discrete motor states (Exo dataset) or a hand-shaped cursor on a two-dimensional screen (Cursor dataset). In five-fold cross-validations, the mean and standard deviation of the area under the receiver operating characteristic curve (AUC of the ROC) for the decoder of neural correlates of task performance were 0.6225±0.0429 in the Runner MI dataset, 0.5677±0.0427 in the Exo dataset and 0.6570±0.0188 in the Cursor dataset. In a pseudo cross-validation simulating online use, the accuracy of the estimated labels was 64.9% in the Runner dataset and 64.5% in the Exo dataset. In the Cursor dataset, 63.3% of the estimated labels were less than 60° away from the actual labels. The AUC of the ROC of the control decoder was 0.6360±0.0958 in the Runner MI dataset when trained auto-adaptively compared to 0.8958±0.0153 when trained supervisedly, and to a chance level of 0.5007±0.0691. The multiclass generalization of the AUC of the ROC of the control decoder was 0.7595±0.0278 in the Exo dataset when trained auto-adaptively compared to 0.8177±0.0301 when trained supervisedly, and to a chance level of 0.5163±0.0580. In the Cursor dataset, the cosine similarity was 0.1589±0.0668 when trained auto-adaptively compared to 0.2107±0.0664 when trained in a classical supervised manner, and a chance level of -0.0231±0.0327. These results are promising for the future of auto-adaptive complex motor BCIs.
Les Interfaces cerveau machine (ICMs) transforment les signaux neuronaux en commande pour des effecteurs. Elles sont principalement utilisées pour compenser les déficits d’handicapés moteurs. L’essai clinique « BCI et tétraplégie » de Clinatec a pour but the fournir une preuve de concept the compensation fonctionnelle chronique des déficits moteurs des quatre membres de tétraplégiques au moyen d’ICMs. Bien que les résultats obtenus soient prometteurs, l’usabilité des ICMs utilisées reste améliorable. Le décodeur utilisé pour transformer les signaux neuronaux en commandes (décodeur de contrôle) doit par exemple être entrainé avant de pouvoir utiliser l’ICM. Ceci est fait durant des séances d’entrainement spécifiques, durant lesquelles le patient doit effectuer des tâches d’imagerie motrices imposés. Ces séances d’entrainement constituent un temps mort et doivent être effectuées régulièrement afin de compenser les pertes de performances qui surviennent avec le temps. Cette thèse vise à limiter les effets négatifs des séances d’entrainements. Pour cela, le décodeur de contrôle est entrainé et mis à jour avec des labels estimés au lieu de labels obtenus lors de séances d’entrainement. Les labels sont estimés grâce à la sortie du décodeur de control ainsi qu’un décodeur de corrélats neuronaux de performance de tâche. Afin d’être utilisable avec les ICMs motrices les plus performantes, l’adaptation doit être faisable pour les décodeurs de contrôle qui ont plusieurs sorties continues. Nous suggérons qu’une telle adaptation requiert des corrélats neuronaux de performances de tâche acquis de manière continuelle dans le temps. Il est aussi nécessaire de détecter ces corrélats dans le cortex sensorimoteur à cause de la position des implants. Dans cette thèse, nous montrons sur plusieurs jeux de données ECoG d’un tétraplégique qu’il est possible de détecter continuellement des corrélats neuronaux de performance de tâche depuis le cortex sensorimoteur, que les labels des décodeurs de contrôle peuvent être estimés grâce à ces corrélats et enfin que ces labels peuvent être utilisés pour l’entrainement de décodeurs avec des sorties discrètes ou continues. Le patient a utilisé l’imagerie motrice pour contrôler un avatar binaire (jeu de données Runner MI), un exosquelette virtuel avec quatre états moteur discrets (jeu de données Exo) ou un curseur en deux dimensions continues sur un écran d’ordinateur (jeu de données Cursor). Lors de validations croisées à 5 blocs, la moyenne et la déviation standard de l’aire sous la courbe (AUC) ROC du décodeur de corrélats neuronaux de performance de tâche était de 0.6225±0.0429, 0.5677±0.0427 et 0.6570±0.0188 pour les jeux de données Runner MI, Exo et Cursor respectivement. Dans une simulation d’utilisation en ligne de de cette méthode d’adaptation, la précision des labels estimés était de 64.9% et 64.5% pour les jeux de données Runner MI et Exo. Pour le jeu de données Cursor, 63% des labels estimés étaient à moins de 60° d’écart des vrais labels. Dans cette simulation avec le jeu de donnée Runner MI, l’AUC de la ROC du décodeur de contrôle était de 0.6360±0.0958 quand entrainé de manière auto-adaptative, comparé à 0.8958±0.0153 pour un entrainement supervisé et à un niveau de chance de 0.5007±0.0691. Pour le jeu de données Exo, la généralisation multi classe de l’AUC de la ROC était 0.7595±0.0278 pour un entrainement auto-adaptative, comparé à 0.8177±0.0301 pour un entrainement supervisé et à un niveau de chance de 0.5163±0.0580. Pour le jeu de données Cursor, la similarité cosinus était 0.1589±0.0668 pour un entrainement auto-adaptative, comparé à 0.2107±0.0664 pour un entrainement supervisé et à un niveau de chance de -0.0231±0.0327. Ces résultats sont prometteurs pour le développement des ICMs motrices complexes auto-adaptatives.
| Origine | Version validée par le jury (STAR) |
|---|