Study of data augmentation for deep neural networks robustness
Étude de l’augmentation de données pour la robustesse des réseaux de neurones profonds
Résumé
In this thesis, we considered the problem of the robustness of neural networks. That is, we have considered the case where the learning set and the deployment set are not independently and identically distributed from the same source. This hypothesis is called : the i.i.d hypothesis. Our main research axis has been data augmentation. Indeed, an extensive literature review and preliminary experiments showed us the regularization potential of data augmentation. Thus, as a first step, we sought to use data augmentation to make neural networks more robust to various synthetic and natural dataset shifts. A dataset shift being simply a violation of the i.i.d assumption. However, the results of this approach have been mixed. Indeed, we observed that in some cases the augmented data could lead to performance jumps on the deployment set. But this phenomenon did not occur every time. In some cases, the augmented data could even reduce performance on the deployment set. In our conclusion, we offer a granular explanation for this phenomenon. Better use of data augmentation toward neural network robustness is to generate stress tests to observe a model behavior when various shift occurs. Then, to use that information to estimate the error on the deployment set of interest even without labels, we call this deployment error estimation. Furthermore, we show that the use of independent data augmentation can improve deployment error estimation. We believe that this use of data augmentation will allow us to better quantify the reliability of neural networks when deployed on new unknown datasets.
Dans cette thèse, nous avons considéré le problème de robustesse des réseaux de neurones. C’est-à-dire que nous avons considéré le cas où le jeu d’apprentissage et le jeu de déploiement ne sont pas indépendamment et identiquement distribués suivant la même source. On appelle cette hypothèse : l’hypothèse i.i.d. Notre principal outil de travail a été l’augmentation de données. En effet, une revue approfondie de la littérature et des expériences préliminaires nous ont montré le potentiel de régularisation de l’augmentation des données. Ainsi, dans un premier temps, nous avons cherché à utiliser l’augmentation de données pour rendre les réseaux de neurones plus robustes à divers glissements de données synthétiques et naturels. Un glissement de données étant simplement une violation de l’hypothèse i.i.d. Cependant, les résultats de cette approche se sont révélés mitigés. En effet, nous avons observé que dans certains cas l’augmentation de données pouvait donner lieu à des bonds de performance sur le jeu de déploiement. Mais ce phénomène ne se produisait pas à chaque fois. Dans certains cas, augmenter les données pouvait même réduire les performances sur le jeu de déploiement. Nous proposons une explication granulaire à ce phénomène dans nos conclusions. Une meilleure utilisation de l’augmentation des données pour la robustesse des réseaux de neurones consiste à générer des tests de résistance ou "stress test" pour observer le comportement d’un modèle lorsque divers glissements de données surviennent. Ensuite, ces informations sur le comportement du modèle sont utilisées pour estimer l’erreur sur l’ensemble de déploiement même sans étiquettes, nous appelons cela l’estimation de l’erreur de déploiement. Par ailleurs, nous montrons que l’utilisation d’augmentation de données indépendantes peut améliorer l’estimation de l’erreur de déploiement. Nous croyons que cet usage de l’augmentation de données permettra de mieux cerner quantitativement la fiabilité des réseaux de neurones lorsqu’ils seront déployés sur de nouveaux jeux de données inconnus.
Origine : Version validée par le jury (STAR)