Static analysis malware detection tools enhanced by artificial intelligence mechanisms

Améliorations des outils de détection de malwares par analyse statique grâce à des mécanismes d'intelligence artificielle

Benjamin Marais (1)

1 LMNO - Laboratoire de Mathématiques Nicolas Oresme

This thesis focuses on the analysis of malicious files. We are particularly interested in using artificial intelligence to develop and improve malware analysis tools. Firstly, we propose a defensive approach, by providing analysis tools and by developing new malware detection models based on supervised and deep learning. We also propose an offensive approach, based in reinforcement learning methods, with the purpose of bypassing various detection solutions. This method allows us to examine their vulnerabilities and weaknesses in order to assess their effectiveness.

Cette thèse porte sur l'analyse de fichiers malveillants. Nous nous intéressons particulièrement à l'utilisation de l'intelligence artificielle pour développer et améliorer des outils d'analyse de malware. Dans un premier temps, nous abordons le problème d'un point de vue défensif en proposant des outils d'analyse, et en élaborant de nouveaux modèles de détection de logiciels malveillants basés sur l'apprentissage supervisé et l'apprentissage profond. Nous proposons aussi une approche offensive, basée sur des méthodes d'apprentissage par renforcement, dans le but de contourner différentes solutions de détection. Cette méthode permet d'étudier leurs failles et leurs faiblesses afin d'évaluer leur efficacité.

Mots clés: Malware analysis; Artificial intelligence; Deep learning; Reinforcement Learning

Mots clés: Analyse de logiciels malveillants

Domaines: Intelligence artificielle [cs.AI]

Benjamin Marais. Améliorations des outils de détection de malwares par analyse statique grâce à des mécanismes d'intelligence artificielle. Intelligence artificielle [cs.AI]. Normandie Université, 2023. Français. ⟨NNT : 2023NORMC245⟩. ⟨tel-04416984⟩