Statistiquement significatif au seuil de 5% oui mais:
Statistiquement significatif ne veut nullement dire cliniquement important .
Statistiquement non significatif ne signifie pas aucune différence.
Beaucoup de chercheurs s’affolent quand la Pvalue est supérieure au seuil de signification de 5%. Les résultats statistiquement significatifs n’ont pas une finalité en soi. L’essentiel est de savoir si la taille des différences est suffisamment et scientifiquement importante ou non. C ‘est ce que nous appelons la taille de l’effet (Effect Size).
En reportant vos résultats dans un papier ou dans votre projet de thèse garder à l’esprit que deux choses essentielles
Statistiquement significatif ne veut nullement dire cliniquement important.
Autrement dit même, si vous trouvez que la significativité statistique est inférieure à 5 % gardez à l’esprit que la significativité statistique n’est qu’un ensemble d’opérations arithmétiques. L’interprétation statistique que nous pouvons retenir est que : « si l’hypothèse nulle est vraie, il y aurait p chance d’obtenir les données qui sont observées »
Exemple : Dans une étude menée par Spector et Vessel (2006) présente un exemple beaucoup plus illustratif. L’utilisation du minelukast pour le traitement des rhinites allergiques réduit les symptômes et les résultats trouvés étaient significatifs. Néanmoins, le médicament en question réduit seulement les allergies de 7%. Sur le plan clinique, ce résultat n’est pas d’une utilité importante. Ce qu’on doit tenir en tête en tant que chercheur c’est que la significativité statistique est un jeu mathématique dont les résultats devraient être analysés en considérant le contexte de l’étude de même que les enjeux cliniques que le clinicien ou le praticien peut en tirer en prescrivant tel ou tel médicament.
Statistiquement non significatif ne signifie pas aucune différence.
L’un des cauchemars des chercheurs est la non significativité des différences. Cela veut dire tout simplement que vos résultats sont incompatibles avec l’hypothèse nulle et non pas que l’hypothèse nulle est vraie. Cela peut être dû au faible nombre de sujets impliqué dans l’étude ce qui impacte la puissance du test et donc la probabilité de trouver une différence significative. Le choix de la taille de l’échantillon est tellement crucial à cet égard (Nous reviendrons sur ce point dans un autre post).
Avoir une p-value significatif ne signifie que la différence est importante sur le plan scientifique. Dans un sens inverse, l’absence d’une significativité statistique ne doit vous induire en erreur en concluant fermement l’absence d’une différence significative.
En reportant ses résultats statistiques, veillez bien à présenter la taille de la différence (effect size) et l’intervalle de confiance quand les p valeurs sont inférieurs à 5% ce qui manquent, hélas, comme information clé dans un bon nombre sans oublier également son intérêt pour l’élaboration des méta-analyses Aamodt, et al. (2005).
En Bref , retenez que:
Statistiquement significatif ne veut nullement dire cliniquement important .
Statistiquement non significatif ne signifie pas aucune différence.
Pour en savoir plus, quelques lectures recommandées
Faul F., Erdfelder E., Buchner A., Lang A.-G. (2009). Statistical power analyses using G*Power 3.1: tests for correlation and regression analyses. Behav. Res. Methods 41, 1149–1160 10.3758/BRM.41.4.1149
Glass G. V., McGaw B., Smith M. L. (1981). Meta-Analysis in Social Research. Beverly Hills, CA: Sage
Grissom R. J., Kim J. J. (2005). Effect Sizes for Research: A Broad Practical Approach. Mahwah, NJ: Lawrence Erlbaum Associates
Hayes W. L. (1963). Statistics for Psychologists. New York, NY: Holt, Rinehart and Winston
Hedges L. V., Olkin I. (1985). Statistical methods for meta-analysis. San Diego, CA: Academic Press
Lane D. M., Dunlap W. P. (1978). Estimating effect size: bias resulting from the significance criterion in editorial decisions. Br. J. Math. Stat. Psychol. 31, 107–112 10.1111/j.2044-8317.1978.tb00578.x
Maxwell S. E., Delaney H. D. (2004). Designing experiments and analyzing data: A model comparison perspective, 2nd Edn Mahwah, NJ: Erlbaum
A très bien tôt pour un nouvel article.
Jamal Tikouk
Analyste des données en santé publique-Ministère de la santé-Maroc.
Doctorant en Modélisation économique-Université Hassan I-Casablanca.
