Towards a tool for diabetic foot diagnosis using a 3D modeling based on thermographic and visible spectrum images
Vers un outil de diagnostic du pied diabétique utilisant une modélisation 3D basée sur des images thermographiques et du lumière blanche
Résumé
Medical infrared thermography is a quantitative method for identifying irregular temperatures for medical diagnosis. Because abnormal body temperature is a natural sign of illness, this modality's data can be used to detect disease or physiological abnormalities, such as diabetic foot which is the subject of this thesis According to the International Diabetes Federation, nearly half a million people were diagnosed with diabetes mellitus in 2019. Peripheral neuropathy may affect 40 % to 60 % of individuals because of diabetic foot issues. Amputation below the knee joint as a preventive operation is a common risk among these individuals, and it is estimated that one amputation occurs every 30 seconds around the world. Currently, MRI, radiography, and thermography, together with image processing techniques, are among the medical imaging modalities utilized to diagnose the diabetic foot early. Medical infrared thermography, on the other hand, is a non-contact, non-invasive, and non-ionizing passive approach. Infrared imaging of the diabetic foot is still mostly reliant on 2D images that only show a portion of the anatomy. In this scenario, a 3D thermal model would allow for better observation and inspection of the region of interest, which includes the plantar, lateral, and dorsal areas. The use of 3D modeling for the diagnosis of the diabetic foot has been documented in a few articles at the publication of this thesis.The proposed method employs a series of merged infrared and visible spectrum images as data input for the 3D point cloud estimation and surface reconstruction, based on Structure from Motion and Multi-view Stereo methods. However, segmentation in thermal images is a task that remains manually performed since the detection of descriptive features is almost impossible in false-color images. Therefore, this thesis presents an automatic segmentation method based on the processing of radiometric information before generating a false-color image. Radiometric data processing is an alternative to digital image processing due to the feasibility to remove thermal interferences (e.g. lamp, thermal shadows, or even patient body parts) based on temperature threshold criteria, improving color contrast, and segmenting the region of interest, and combine onto visible spectrum images.The fused multimodal images were used as input information for the estimation of the 3D surface of the foot. The obtained model was provided with a temperature scale related to the radiometric data obtained by each volunteer, as well as the possibility to rotate the model to observe each viewpoint. The findings show that the 3D multimodal model is feasible, allowing for better and faster visualization of temperature distribution during diabetic foot diagnosis. The contribution of this thesis concerns the acquisition of a 3D model with thermal information and automatic segmentation in thermal images for multimodal fusion. The perspective is the clinical validation to pilot test the assistance in the diagnosis of diabetic foot. However, from the experimental/theoretical perspective, it is contemplated to study the accuracy of image registration with the proposed method of automatic segmentation, and the thermal and spatial accuracy of the 3D models carried out with phantoms.
La thermographie infrarouge médicale est une méthode quantitative permettant d'identifier une température irrégulière à des fins de diagnostic médical. Une température corporelle anormale étant un signe naturel de maladie, les données de cette modalité peuvent être utilisées pour détecter des maladies ou des anomalies physiologiques, comme le pied diabétique qui est le sujet de cette thèse Selon la Fédération internationale du diabète, près d'un demi-million de personnes ont été diagnostiquées avec un diabète sucré en 2019. La neuropathie périphérique peut toucher 40 % à 60 % des individus en raison de problèmes liés au pied diabétique. L'amputation sous l'articulation du genou en tant qu'opération préventive est un risque courant chez ces personnes, et on estime qu'une amputation se produit toutes les 30 secondes dans le monde. Actuellement, l'IRM, la radiographie et la thermographie, ainsi que les techniques de traitement de l'image, font partie des modalités d'imagerie médicale utilisées pour diagnostiquer précocement le pied diabétique. La thermographie infrarouge médicale, quant à elle, est une approche passive sans contact, non invasive et non ionisante. L'imagerie infrarouge du pied diabétique repose encore principalement sur des images 2D qui ne montrent qu'une partie de l'anatomie. Dans ce scénario, un modèle thermique 3D permettrait une meilleure observation et inspection de la région d'intérêt, qui comprend les zones plantaires, latérale et dorsale. L'utilisation de la modélisation 3D pour le diagnostic du pied diabétique a été documentée dans quelques articles au moment de la publication de cette thèse.La méthode proposée utilise une série d'images infrarouges et à spectre visible fusionnées comme données d'entrée pour l'estimation du nuage de points 3D et la reconstruction de surface, basée sur les méthodes Structure from Motion et Multi-view Stereo. Cependant, la segmentation dans les images thermiques est une tâche qui reste manuelle puisque la détection des caractéristiques descriptives est presque impossible dans les images fausses couleurs. Par conséquent, cette thèse présente une méthode de segmentation automatique basée sur le traitement des informations radiométriques avant de générer une image en fausses couleurs. Le traitement des données radiométriques est une alternative au traitement d'image numérique en raison de la possibilité d'éliminer les interférences thermiques (par exemple la lampe, les ombres thermiques, ou même les parties du corps du patient) sur la base de critères de seuil de température, d'améliorer le contraste des couleurs, de segmenter la région d'intérêt, et de combiner sur des images du spectre visible.Les images multimodales fusionnées ont été utilisées comme informations d'entrée pour l'estimation de la surface 3D du pied. Le modèle obtenu était doté d'une échelle de température liée aux données radiométriques obtenues par chaque volontaire, ainsi que de la possibilité de faire pivoter le modèle pour observer chaque point de vue. Les résultats montrent que le modèle multimodal 3D est réalisable, permettant une visualisation meilleure et plus rapide de la distribution de la température lors du diagnostic du pied diabétique. La contribution de cette thèse concerne l'acquisition d'un modèle 3D avec des informations thermiques et la segmentation automatique dans les images thermiques pour la fusion multimodale. La perspective est la validation clinique pour tester l'assistance dans le diagnostic du pied diabétique. Cependant, du point de vue expérimental/théorique, il est envisagé d'étudier la précision du recalage des images avec la méthode proposée de segmentation automatique, et la précision thermique et spatiale des modèles 3D réalisés avec des fantômes.
Origine : Fichiers produits par l'(les) auteur(s)