Multiple testing

De term multiple testing wordt gebruikt voor het uitvoeren van meerdere statistische toetsen op dezelfde dataset. Gevaar van multiple testing is dat je bij het doen van veel toetsen vaker er op basis van toeval een verschil zult vinden. In sommige situaties is het verstandig om te corrigeren voor dit fenomeen.

Wanneer moet ik corrigeren voor multiple testing?

Er zijn geen vaste regels voor wanneer je wel of niet moet corrigeren. Het is verstandig om te doen omdat je daarmee te kans kleiner maakt dat je ten onrechte de nulhypothese van gelijke groepen verwerpt. Stel je zou 20 vergelijkingen tussen groepen doen, dan verwacht je dat er bij een significatieniveau van 0.05 op basis van puur toeval 1 significant verschil uitkomt.

Criteria om wel of niet te corrigeren kunnen zijn:

-De fase van het onderzoek. Er wordt wel eens geargumenteerd dat puur hypothetiserend onderzoek niet hoeft te corrigeren, terwijl fase 3 onderzoek dat zeker moet doen. -Het aantal testen dat je uitvoert.

Referenties

• Rothman, K. (1990), No adjustments are needed for multiple comparisons. Epidemiology, volume 1, number 1, 43-46.

Terug naar OVERZICHT voor een overzicht van alle statistische onderwerpen op deze wiki.

Terug naar KEUZE TOETS voor hulp bij het uitzoeken van een geschikte toets of analyse.