Design, Development and Evaluation of a System for the Detection of Aerial Parts and Measurement of Growth Indices of Bell Pepper Plant Based on Stereo and Multispectral Imaging
Conception, développement et évaluation d'un système de détection des pièces aériennes et de mesure des indices de croissance d'une usine de poivron basée sur l'imagerie stéréoscopique et multispectrale
Résumé
During the growth of plants, monitoring them brings much benefits to the producers. This monitoring includes the measurement of physical properties, counting plants leaves, detection of plants and separation of them from weeds. All these can be done different techniques, however, the techniques are favorable that are non-destructive because plant is a very sensitive creature that any manipulation can put disorder in its growth or lead to losing leaves or branches. Imaging techniques are of the best solutions for plants growth monitoring and geometric measurements. In this regard, in this project the use of stereo imaging and multispectral data was studied. Active and passive stereo imaging were employed for the estimation of physical properties and counting leaves and multispectral data was utilized for the separation of crop and weed. Bell pepper plant was used for imaging measurements for a period of 30 days and for crop/weed separation, the spectral responses of bell pepper and five weeds were measured. Nine physical properties of pepper leaves (i.e. main leaf diameters, leaf area, leaf perimeter etc.) were measured using a scanner and was used as a database and also for comparing the estimated values to the actual values. The stereo system consisted of two LogiTech cameras and a video projector. First the stereo system was calibrated using sample images of a standard checkerboard in different position and angles. The system was controlled using the computer for turning a light line on, recording videos of both cameras while light is being swept on the plant and then stopping the light. The frames were extracted and processed. The processing algorithm first filtered the images for removing noise and then thresholded the unwanted pixels of environment. Then, using the peak detection method of Center of Mass the main and central part of the light line was extracted. After, the images were rectified by using the calibration information. Then the correspondent pixels were detected and used for the 3D model development. The obtained point cloud was transformed to a meshed surface and used for physical properties measurement. Passive stereo imaging was used for leaf detection and counting. For passive stereo matching six different matching algorithms and three cost functions were used and compared. For spectral responses of plants, they were freshly moved to the laboratory, leaves were detached from the plants and placed on a blur dark background. Type A lights were used for illumination and the spectral measurements were carried out using a spectroradiometer from 380 nm to 1000 nm. To reduce the dimensionality of the data, PCA and wavelet transform were used. Results of this study showed that the use of stereo imaging can propose a cheap and non-destructive tool for agriculture. An important advantage of active stereo imaging is that it is light-independent and can be used during the night. However, the use of active stereo for the primary stage of growth provides acceptable results but after that stage, the system will be unable to detect and reconstruct all leaves and plant's parts. Using ASI the R2 values of 0.978 and 0.967 were obtained for the estimation leaf area and perimeter, respectively. The results of separation of crop and weeds using spectral data were very promising and the classifier—which was based on deep learning—could completely separate pepper from other five weeds.
Au cours de la croissance des plantes, leur suivi apporte beaucoup d'avantages aux producteurs. Cette surveillance comprend la mesure des propriétés physiques, le comptage des feuilles des plantes, la détection des plantes et leur séparation des mauvaises herbes. Toutes ces techniques peuvent être réalisées de différentes manières, cependant, les techniques favorables sont non destructives car la plante est une créature très sensible que toute manipulation peut perturber sa croissance ou entraîner la perte de feuilles ou de branches. Les techniques d'imagerie sont les meilleures solutions pour le suivi de la croissance des plantes et les mesures géométriques. À cet égard, dans ce projet, l'utilisation de l'imagerie stéréo et des données multispectrales a été étudiée. L'imagerie stéréo active et passive a été utilisée pour l'estimation des propriétés physiques et le comptage des feuilles et des données multispectrales ont été utilisées pour la séparation des cultures et des mauvaises herbes. La plante de poivron a été utilisée pour des mesures d'imagerie pendant une période de 30 jours et pour la séparation culture/mauvaise herbe, les réponses spectrales du poivron et de cinq mauvaises herbes ont été mesurées. Neuf propriétés physiques des feuilles de poivre (c. Le système stéréo était composé de deux caméras LogiTech et d'un vidéoprojecteur. Tout d'abord, le système stéréo a été calibré à l'aide d'images d'échantillons d'un damier standard dans différentes positions et angles. Le système a été contrôlé à l'aide de l'ordinateur pour allumer une ligne lumineuse, enregistrer des vidéos des deux caméras pendant que la lumière est balayée sur la plante, puis arrêter la lumière. Les cadres ont été extraits et traités. L'algorithme de traitement a d'abord filtré les images pour supprimer le bruit, puis a seuillé les pixels indésirables de l'environnement. Ensuite, en utilisant la méthode de détection de pic du centre de masse, la partie principale et centrale de la ligne lumineuse a été extraite. Ensuite, les images ont été rectifiées en utilisant les informations d'étalonnage. Ensuite, les pixels correspondants ont été détectés et utilisés pour le développement du modèle 3D. Le nuage de points obtenu a été transformé en une surface maillée et utilisé pour la mesure des propriétés physiques. Pour les réponses spectrales des plantes, celles-ci ont été fraîchement déplacées au laboratoire, les feuilles ont été détachées des plantes et placées sur un fond sombre flou. Des lumières de type A ont été utilisées pour l'éclairage et les mesures spectrales ont été effectuées à l'aide d'un spectroradiomètre de 380 nm à 1000 nm. Pour réduire la dimensionnalité des données, l'ACP et la transformée en ondelettes ont été utilisées. Les résultats de cette étude ont montré que l'utilisation de l'imagerie stéréo peut proposer un outil bon marché et non destructif pour l'agriculture. Un avantage important de l'imagerie stéréo active est qu'elle est indépendante de la lumière et peut être utilisée pendant la nuit. Cependant, l'utilisation de la stéréo active pour le stade primaire de croissance fournit des résultats acceptables, mais après ce stade, le système sera incapable de détecter et de reconstruire toutes les feuilles et les parties de la plante. En utilisant l'ASI, les valeurs R2 de 0,978 et 0,967 ont été obtenues pour l'estimation de la surface foliaire et du périmètre, respectivement. Les résultats de la séparation des cultures et des mauvaises herbes à l'aide de données spectrales étaient très prometteurs et le classificateur, qui était basé sur un apprentissage en profondeur, pouvait complètement séparer le poivre des cinq autres mauvaises herbes.
Origine : Version validée par le jury (STAR)