
Dans cette thèse, nous avons vu que l'évaluation d'un modèle joue un rôle très important dans l'élaboration de ce dernier, et que la phase d'évaluation peut être biaisée du fait de la qualité des données, notamment lorsque les bases d'apprentissage et de test possèdent des propriétés différentes. On parle alors de biais, ou \emph{shift} en anglais. A l'aide de données réelles issues du réseau social professionnel Viadeo, nous avons mis en évidence le biais engendré par la méthodologie CRISP-DM \citep{wirth2000crisp} et nous avons proposé une nouvelle procédure d'évaluation hors-ligne d'un algorithme de recommandation permettant de réduire ce biais. Puis, nous avons vu de façon plus générale que plusieurs approches permettent de calibrer un modèle sur une base d'apprentissage biaisée tout en étant capable d'avoir une bonne capacité de prédiction sur une base de données test possédant des propriétés différentes de l'échantillon d'apprentissage. Deux solutions sont en effet souvent évoquées dans la littérature en fonction des hypothèses régissant le biais : d'une part la théorie du \emph{covariate shift} \citep{shimodaira2000improving}, et d'autre part les modèles d'adaptation de domaines \citep{villani2008optimal}. 

Dans nos travaux, nous avons montré que ces approches dépendent d'hypothèses qui ne sont pas toujours vérifiées en pratique, et nous avons formalisé des hypothèses permettant de traiter un nouveau type de biais, appelé \emph{explanatory shift}, portant sur la relation entre la variable cible et les variables explicatives, $P(Y|X)$. Nous avons alors proposé une nouvelle approche, qui permet de calibrer un modèle de classification de façon itérative dans le cas où la quantité $P(X|Y)$ est conservée entre les bases d'apprentissage et de test. Nous avons par ailleurs montré que, sous ces hypothèses, la fonction d'évaluation optimale fait intervenir des poids définis comme le ratio entre les densités de la variable cible sur les bases de test et d'apprentissage. Les expériences réalisées sur des données réelles issues du site de e-commerce \emph{Cdiscount} et du jeu de données \emph{Newsgroup} illustrent la pertinence de l'approche proposée dans le cas des modèles de classification. Une évolution naturelle de ces travaux à moyen terme pourrait être la généralisation de l'approche au cas des modèles de régression.

Ensuite, nous nous sommes intéressés au cas de l'erreur relative moyenne (MAPE, \emph{Mean Absolute Percentage Error}) pour les modèles de régressions, qui peut être considérée comme une version pondérée de l'erreur absolue. Dans ce cas, en notant $y$ la valeur de la variable cible $Y$, l'expression des poids est donnée par $1/|y|$, qui diverge lorsque $y$ tend vers 0. L'étude approfondie de cette fonction de perte n'avait pas été réalisée à notre connaissance dans la littérature. Nous nous sommes donc intéressés aux problèmes théoriques liés à l'utilisation de l'erreur relative moyenne comme fonction de perte pour les modèles de régression, comme cela avait déjà été réalisé pour des fonctions de perte plus classiques (moindres carrés et erreur absolue principalement, \citet{DevroyeEtAl1996Pattern}).

Après avoir établi l'existence du risque empirique sous certaines hypothèses, nous avons démontré la consistance de l'estimateur obtenu par minimisation du risque empirique dans le cas où la valeur absolue de la variable cible est inférieurement bornée par un réel strictement positif. Ces résultats s'inscrivent dans la continuité de ceux présentés dans la littérature dans le cas des moindres carrés et de l'erreur absolue et permettent de faire une forte analogie entre les différentes fonctions de perte. A court terme, une évolution de nos travaux pourrait donc consister à assouplir l'hypothèse d'existence d'une borne inférieure sur la variable cible, afin de généraliser les résultats obtenus dans le cas où la variable cible peut s'approcher autant que possible de la valeur nulle. Une généralisation très similaire a déjà été obtenue dans la littérature (voir \citet{DevroyeEtAl1996Pattern} par exemple) dans les cas des moindres carrés et de l'erreur absolue.

Enfin, nous avons détaillé les modèles de régression MAPE dans un cadre non paramétrique. Nous avons alors obtenu une expression explicite du problème d'optimisation associé à la régression MAPE non paramétrique ainsi que de sa version duale. Les résultats numériques nous ont permis de mettre en avant les spécificités de ces régressions, ainsi que les problèmes d'estimation liés à la proximité entre la variable cible et la valeur nulle. Une prolongation de ce chapitre à moyen terme pourrait être la preuve de la consistance de l'estimateur obtenu par résolution du problème dual dans le cas de la régression MAPE non paramétrique, déjà établie dans le cas de la régression non paramétrique minimisant l'erreur absolue \citep{li2007quantile}.


