Combination robust to dependence between classifiers in a decentralized learning context
Combinaison robuste à la dépendance entre classifieurs dans un contexte d'apprentissage décentralisé
Résumé
Machine learning is a rapidly growing field of science concerning both the number of methods used and the amount of data available for users. Classification is thus affected by these changes. The presence of a large number of classification algorithms thus encourages the creation of global systems that are based on classifier ensembles, in the purpose of providing efficient solutions to complex classification problems. This is the main motivation behind our thesis whose subject is the study of multi-classifiers systems. A multi-classifiers system is a set of classifiers whose decisions is aggregated according to a specific architecture and using a combination rule. There are different types architectures such as parallel, sequential or hybrid architectures. In this thesis, we are only interested in classifier ensembles having a parallel architecture. Briefly, the purpose of my research is then the design of multi-classifiers systems to improve classification performance and to offer certain level of robustness. However, the design of such systems, that can be seen as a fusion of different sources of information and which will be trained on correlated learning examples, generates dependence in the individual decisions of classifiers and consequently impose the creation of classifier ensembles that are adapted to dependency between individual classifiers. Thus, we propose two approaches that are the main contributions of this thesis. The first one is a possibilistic approach based on a well-known combination rule in fuzzy logic, the t-norm, while the second is a probabilistic approach based on a copula function which are models of dependence between random variables
L’apprentissage automatique est un domaine en forte croissance à la fois dans le nombre de méthodes employées mais aussi dans le nombre de base de données mises à disposition des utilisateurs. La classification, qui est une tâche qui peut être abordée par l’apprentissage artificiel, est ainsi affectée par ce changement. La présence d’un grand nombre d’algorithmes de classification incite alors à créer des systèmes globaux −basés sur des comités de classifieurs− dont le but est de donner des solutions plus efficaces pour les problèmes de classification complexes. Pour cette raison, on traite dans cette thèse la problématique des systèmes multi-classifieurs ou bien les comités de classifieurs dans un sens général. Le but de mes travaux de recherche est alors la conception de systèmes multi-classifieurs assurant une amélioration des performances de classification ainsi qu’un certain niveau de robustesse. Cependant, une conception de tels systèmes de classifieurs, qu'on peut voir comme des sources d'informations différentes et qui seront entraînés sur des exemples d’apprentissage corrélés, engendre une dépendance dans les différentes décisions individuelles produites par ces classifieurs et par conséquent on rajoute le but de construire des systèmes multi-classifieurs qui s'adaptent à la dépendance à l’intérieur du comité. Ainsi, nous proposons deux solutions qui seront les principales contributions de cette thèse. La première est une approche possibiliste basée sur une règle de combinaison bien connue en logique floue, la t-norme tandis que la deuxième est une approche probabiliste basée sur les copules qui sont des modèles de dépendance entre variables aléatoires
Origine : Fichiers produits par l'(les) auteur(s)