Comparison of permutation tests strategies in multiple regression, with application to the analysis of distances matrices.
Analyse comparative des tests de permutations en régression multiple et application à l'analyse de tableaux de distances.
Résumé
When the data generation process does not satisfy some of the assumptions founding the statistical inferences in the classic linear regression model, permutation tests offer a reliable nonparametric alternative for constructing distribution-free tests. The first application of the permutation test methodology for statistical inference on the simple linear regression model can be traced back to papers by Fisher (1935) and Pitman (1937a, b, 1938). This resampling method is founded on hypothesis weaker than the classic parametric approach and which are easily checkable in practice: the exchangeability of the observations under the null hypothesis. There is general agreement concerning an appropriate permutation method yielding exact tests of hypotheses in the simple linear regression model. This is not the case, however, for partial tests needed in multiple linear regressions. Then, the problem becomes much trickier to test a null hypothesis concerning one partial regression coefficient. Due exchangeability properties are no more satisfied, and thus no exact test exists for that problem. Several asymptotically exact candidate methods have been proposed in that case.
The main goal of our work aims at comparison of permutation test startegies adapted to the hypotheses of nullity of a partial coefficient regression in a linear regression model with p explanatory variables, conditionally on the information contained in the sample at hand. Four permutation test methods are compared, first on simulated data resorting to the double linear regression model, and then on theoretical grounds, in order to explore their unbiasedness properties, as well as their power function's hierarchy. The results obtained are then extended to the general multiple linear regressions setting.
A final chapter supplements our research by focussing on inferential problems met when dealing with partial dependence structures between inter-point distance matrices of finite order. We compared the adaptation of four candidate permutation test strategies in this context, the specificity of which relies on the complexities induced by the dependence structure existing between elements of a distance matrix. Therefore, we obtained results that revealed themselves quite different in this case from those obtained in the classic situation of linear regression applied to independent samples, which is the object of our simulations and formal developments presented in the first part of the thesis.
The main goal of our work aims at comparison of permutation test startegies adapted to the hypotheses of nullity of a partial coefficient regression in a linear regression model with p explanatory variables, conditionally on the information contained in the sample at hand. Four permutation test methods are compared, first on simulated data resorting to the double linear regression model, and then on theoretical grounds, in order to explore their unbiasedness properties, as well as their power function's hierarchy. The results obtained are then extended to the general multiple linear regressions setting.
A final chapter supplements our research by focussing on inferential problems met when dealing with partial dependence structures between inter-point distance matrices of finite order. We compared the adaptation of four candidate permutation test strategies in this context, the specificity of which relies on the complexities induced by the dependence structure existing between elements of a distance matrix. Therefore, we obtained results that revealed themselves quite different in this case from those obtained in the classic situation of linear regression applied to independent samples, which is the object of our simulations and formal developments presented in the first part of the thesis.
Lorsque le processus de génération des données ne respecte pas certains des postulats fondant l'analyse statistique du modèle classique de régression linéaire, les tests de permutations offrent une alternative non paramétrique fiable de construction de tests d'hypothèse libres. La première application de cette méthode d'inférence statistique au modèle de régression linéaire simple renvoie à Fisher (1935) et Pitman (1937a,b,1938). Cette méthode de ré-échantillonnage est fondée sur des postulats moins forts que la méthode paramétrique classique et facilement vérifiables en pratique : l'échangeabilité des observations sous l'hypothèse nulle. Si l'utilisation des tests de permutation fait consensus en régression linéaire simple et pour tester l'adéquation d'un modèle en régression multiple, le problème se complique lorsqu'on souhaite mettre à l'épreuve une hypothèse de nullité d'un coefficient de régression partielle. L'étude des conditions d'échangeabilité n'est plus simple dans ce cas. Il n'est alors plus possible de construire des tests exacts plusieurs propositions de tests sont en concurrence.
L'objectif principal de notre travail est la comparaison des tests de permutation adaptés aux hypothèses de nullité d'un coefficient de régression partielle dans un modèle linéaire à p variables explicatives, conditionnellement à l'observation d'un échantillon. Quatre méthodes sont comparées, d'une part en recourant à des simulations effectuées dans le cas d'une régression double, puis théoriquement, afin de déterminer les propriétés de biais, de couverture et de puissance de ces tests. Les résultats obtenus sont ensuite étendus au cas de la régression linéaire multiple.
Un dernier chapitre complète cette étude en traitant le problème de test de la dépendance partielle entre tableaux de distances interpoints. Nous avons comparé les adaptations des quatre méthodes de test de permutation à ce contexte marqué par la dépendance existant entre éléments d'une matrice de distance et nous avons obtenu dans ce cas des résultats tout à fait différents de ceux qui caractérisent.
L'objectif principal de notre travail est la comparaison des tests de permutation adaptés aux hypothèses de nullité d'un coefficient de régression partielle dans un modèle linéaire à p variables explicatives, conditionnellement à l'observation d'un échantillon. Quatre méthodes sont comparées, d'une part en recourant à des simulations effectuées dans le cas d'une régression double, puis théoriquement, afin de déterminer les propriétés de biais, de couverture et de puissance de ces tests. Les résultats obtenus sont ensuite étendus au cas de la régression linéaire multiple.
Un dernier chapitre complète cette étude en traitant le problème de test de la dépendance partielle entre tableaux de distances interpoints. Nous avons comparé les adaptations des quatre méthodes de test de permutation à ce contexte marqué par la dépendance existant entre éléments d'une matrice de distance et nous avons obtenu dans ce cas des résultats tout à fait différents de ceux qui caractérisent.