Une fishing expedition enchaîne les tests, sur chaque outil, étape, équipe et paramètre, jusqu'à ce que quelque chose apparaisse avec un p inférieur à 0,05. Avec 20 tests indépendants à un alpha de 0,05, la probabilité d'obtenir au moins un faux résultat positif est d'environ 64 pour cent, de sorte que ce qui en ressort n'est souvent que du bruit. Les parades consistent à énoncer les hypothèses avant de chercher, à corriger pour les comparaisons multiples et à confirmer toute découverte par de nouvelles données.
He ran 300 commonality tests and found one tool at p of 0.03. That's a fishing expedition, not a root cause.
En français simple Il a effectué 300 tests de similarité et a trouvé un outil à un p de 0,03. C'est une fishing expedition, pas une cause racine.
Aussi entendu sous
- data dredging
- p-hacking
- torturing the data
Termes associés
p-value
Probabilité d'observer un résultat au moins aussi extrême si l'effet était réellement nul, utilisée pour juger de la signification statistique.
Significant
Qualifie un résultat peu susceptible de provenir du seul hasard à un niveau de risque donné, ce qui n'est pas synonyme d'important.
Confounding
Mélange de deux effets de sorte que les données ne peuvent pas les séparer, que ce soit par conception ou à cause d'une variable non contrôlée.
Power
Probabilité qu'un test détecte un effet réel d'une taille donnée, définie par la taille de l'échantillon, le bruit et l'alpha.