Proximal sensing and neural network processes to assist in diagnosis of multi-symptom grapevine diseases
Proxidétection et approches neuronales pour l’aide au diagnostic de maladies multi-symptômes de la vigne
Résumé
Grapevine is a plant susceptible to numerous diseases. Some of these diseases can lead to significant yield losses and the death of the infected grapevine. Among these diseases, some present symptoms of different nature on various organs of the same vine. Their diagnosis, typically performed by experts, is even more complex as many confounding factors are present. This research focuses on the development of methodologies for acquiring, annotating, and processing data related to multi-symptom grapevine diseases to study their automated diagnosis. Two groups of diseases are targeted: grapevine yellows such as Flavescence dorée (FD) and grapevine trunk diseases (GTDs) with Eutypa and Botryosphaeria diebacks as specific diseases.RGB image acquisitions were conducted directly in grapevine rows to build datasets for each disease type. The dataset for FD covers five different grape varieties and takes into account many diseases that have symptoms similar to FD, referred to as confounding diseases. The GTDs dataset includes images of a single grape variety and no confounding disease. Three methods for the automatic diagnosis of these diseases are proposed, compared, and discussed. The first method, inspired by state-of-the-art techniques, uses a convolutional neural network-based classifier applied to raw images (method A). The results show that this methodology delivers good results on datasets containing very few confounding diseases. Precision (p) and recall (r) of (p=0.94, r=0.92) are achieved for classifying images of grapevines affected by GTDs, while they are (p=0.87, r=0.84) for classifying images of vines affected by FD in a dataset containing 16% of confounding disease images.To improve these results, two methods were developed, both consisting of two steps: (1) individual symptom detection using a detection algorithm composed of neural convolutional layers and a neural segmentation algorithm; (2) diagnosis based on the association of detected symptoms, either using a Random Forest classifier (method B) or a graph neural network (method C). The results of these two methodologies on the dataset containing 16% of confounding disease images for FD are (p=0.86, r=0.90) for method B and (p=0.90, r=0.96) for method C. These results demonstrate the better effectiveness of two-step methodologies in distinguishing confounding diseases from targeted diseases. They also highlight the relevance of embedded RGB imaging combined with artificial intelligence approaches for diagnosing these diseases.Finally, these three methods are tested on whole-block acquisitions to establish their validity in real-world use cases. The results highlight the advantages of the two-step methodology based on symptom association by graph, the significant contribution of considering the surrounding vines and both sides of the vines during their automated diagnosis, and emphasize the challenges of real-world application of these methodologies.
La vigne est une plante sujette à de très nombreuses maladies. Certaines de ces maladies peuvent entraîner d'importantes pertes de rendement et la mort du pied de vigne infecté. Parmi ces maladies, certaines présentent des symptômes de nature différente, sur plusieurs organes de la même vigne. Leur diagnostic, réalisé en pratique par des experts, est d’autant plus complexe qu’elles présentent de nombreux facteurs confondants. Cette recherche se concentre sur le développement de méthodologies pour l'acquisition, l'annotation et le traitement des données liées aux maladies de la vigne multi-symptômes afin d'étudier leur diagnostic automatique. Deux groupes de maladies sont ciblés : les jaunisses de la vigne telles que la Flavescence dorée (FD) ou le bois noir, et les maladies du bois de la vigne (GTDs) avec l'Eutypiose et le Botryosphaeria comme maladies ciblées.Des acquisitions d'images RGB, directement dans les rangs de vigne, ont été réalisées pour construire des ensembles de données pour chaque type de maladie. Le jeu de données pour la FD couvre cinq cépages différents et tient compte de nombreuses maladies présentant des symptômes similaires à ceux de la FD, appelées maladies confondantes. L'ensemble de données pour les GTDs comprend des images d'une seule variété de vigne et aucune maladie confondante. Trois méthodes de diagnostic automatique de ces maladies sont proposées, comparées et discutées. La première méthode, inspirée de l’état de l’art, utilise un classifieur basé sur un réseau neuronal convolutif appliqué aux images brutes (méthode A). Les résultats montrent que cette méthodologie délivre de bons résultats sur les ensembles de données contenant très peu de maladies confondantes. Une précision (p) et un rappel (r) de (p=0,94 ; r=0,92) sont obtenus pour la classification des images de vigne affectées par les GTDs, tandis qu'ils sont de (p=0,87 ; r=0,84) pour la classification des images de vignes affectées par la FD sur un ensemble de données contenant 16% d'images de maladies confondantes.Dans le but d’améliorer ces résultats, deux méthodes ont été développées, toutes deux comportant deux étapes : (1) la détection individuelle des symptômes à l'aide d'un algorithme de détection constitué de couches de neurones convolutives et d'un algorithme neuronal de segmentation ; (2) le diagnostic basé sur l’association des symptômes détectés, soit à l'aide d'un classificateur de type forêt d’arbres décisionnels ou Random Forest (méthode B), soit à l'aide d'un réseau neuronal sur graphe (méthode C). Les résultats de ces deux méthodologies sur l'ensemble de données contenant 16% d'images de maladies confondantes à la FD sont de (p=0,86 ; r=0,90) pour la méthode B et de (p=0,90 ; r=0,96) pour la méthode C. Ces résultats démontrent une meilleure efficacité des méthodologies en deux étapes pour distinguer les maladies confondantes des maladies ciblées. Ils démontrent également la pertinence de l’imagerie RGB embarquée associée aux approches neuronales d’intelligence artificielle pour le diagnostic de ces maladies.Enfin, ces trois méthodes sont testées sur des acquisitions à l'échelle de parcelles entières afin d’établir leur validité dans des cas d'utilisation concret. Les résultats mettent en évidence les avantages de la méthodologie en deux étapes basée sur l’association des symptômes par graphe, la contribution significative des vignes environnantes et des deux faces des vignes lors de leur diagnostic automatique et soulignent les défis de l’application réelle de ces méthodologies.
Origine : Version validée par le jury (STAR)