Permutation tests for univariate or multivariate analysis of variance and regression

Abstract

The most appropriate strategy to be used to create a permutation distribution for tests of individual terms in complex experimental designs is currently unclear. There are often many possibilities, including restricted permutation or permutation of some form of residuals. This paper provides a summary of recent empirical and theoretical results concerning available methods and gives recommendations for their use in univariate and multivariate applications. The focus of the paper is on complex designs in analysis of variance and multiple regression (i.e., linear models). The assumption of exchangeability required for a permutation test is assured by random allocation of treatments to units in experimental work. For observational data, exchangeability is tantamount to the assumption of independent and identically distributed errors under a null hypothesis. For partial regression, the method of permutation of residuals under a reduced model has been shown to provide the best test. For analysis of variance, one must first identify exchangeable units by considering expected mean squares. Then, one may generally produce either (i) an exact test by restricting permutations or (ii) an approximate test by permuting raw data or some form of residuals. The latter can provide a more powerful test in many situations.La stratégie la plus appropriée pour générer une distribution de permutation en vue de tester les termes individuels d'un plan expérimental complexe n'est pas évidente à l'heure actuelle. Il y a souvent plusieurs options, dont la permutation restreinte et la permutation d'une quelconque forme des résiduels. On trouvera ici un résumé d'informations récentes empiriques et théoriques sur les méthodes disponibles, ainsi que des recommandations pour leur utilisation dans des applications unidimensionnelles et multidimensionnelles. L'emphase est mise sur les plans complexes d'analyse de variance et de régression multiple (i.e. les modèles linéaires). Dans un travail expérimental, la supposition d'échangeabilité requise pour un test par permutation est assurée par l'assignation au hasard à des unités des divers traitements. Dans le cas d'observations, l'échangeabilité équivaut à supposer que les erreurs, dans une hypothèse nulle, sont indépendantes et distribuées de façon identique. Pour la régression partielle, la méthode de permutation des résiduels dans un modèle réduit s'est avérée la meilleure. Pour l'analyse de variance, il faut d'abord identifier les unités échangeables à l'examen des carrés moyens attendus. Ensuite, il est généralement possible de produire (i) un test exact en restreignant les permutations ou alors (ii) un test approximatif en permutant les données brutes ou une forme quelconque des résiduels. Cette dernière méthode fournit, dans plusieurs situations, un test plus puissant.[Traduit par la Rédaction]