Eine Fishing expedition führt Test nach Test über alle Werkzeuge, Schritte, Schichten und Parameter hinweg durch, bis ein Ergebnis mit einem p-Wert unter 0,05 auftaucht. Bei 20 unabhängigen Tests mit einem Alpha von 0,05 liegt die Wahrscheinlichkeit für mindestens einen Fehlalarm bei etwa 64 Prozent, sodass das, was auftaucht, oft nur Rauschen ist. Die Gegenmaßnahmen bestehen darin, Hypothesen vor der Untersuchung aufzustellen, Korrekturen für multiples Testen vorzunehmen und jeden Fund mit neuen Daten zu bestätigen.
He ran 300 commonality tests and found one tool at p of 0.03. That's a fishing expedition, not a root cause.
In klarem Deutsch Er hat 300 Commonality-Tests durchgeführt und ein Werkzeug mit einem p-Wert von 0,03 gefunden. Das ist eine Fishing expedition, keine Grundursache.
Auch bekannt als
- data dredging
- p-hacking
- torturing the data
Verwandte Begriffe
p-value
Wahrscheinlichkeit, ein mindestens so extremes Ergebnis zu sehen, wenn es in Wahrheit keinen Effekt gäbe, verwendet zur Beurteilung der statistischen Signifikanz.
Significant
Beschreibt ein Ergebnis, das bei einem festgelegten Risikoniveau unwahrscheinlich durch reinen Zufall entstanden ist, was nicht dasselbe wie wichtig ist.
Confounding
Vermischung zweier Effekte, sodass die Daten sie nicht trennen können, sei es durch den Versuchsplan oder durch eine unkontrollierte Variable.
Power
Wahrscheinlichkeit, dass ein Test einen realen Effekt einer bestimmten Größe erkennt, festgelegt durch Stichprobenumfang, Rauschen und Alpha.