Multiple testing: Difference between revisions
| Line 14: | Line 14: | ||
* [http://www.jstor.org/stable/20065622 No adjustments are needed for multiple comparisons. Epidemiology, Rothman, K., Vol. 1, No. 1 (1990), pp. 43-46] | * [http://www.jstor.org/stable/20065622 No adjustments are needed for multiple comparisons. Epidemiology, Rothman, K., Vol. 1, No. 1 (1990), pp. 43-46] | ||
* [http://www.biomedcentral.com/content/pdf/1471-2288-2-8.pdf Do multiple outcome measures require p-value adjustment? Feise, R.J., BMC Medical Research Methodology 2002, 2:8] | * [http://www.biomedcentral.com/content/pdf/1471-2288-2-8.pdf Do multiple outcome measures require p-value adjustment? Feise, R.J., BMC Medical Research Methodology 2002, 2:8] | ||
* [http://www.unc.edu/courses/2007spring/enst/562/001/docs/lectures/lecture32.htm lecture notes multiple testing] | * [http://www.unc.edu/courses/2007spring/enst/562/001/docs/lectures/lecture32.htm lecture notes multiple testing] Jack Weiss, University of North Carolina. Lectures 32, 33 en 34 geven moderne inzichten over en oplossingen voor multiple testing | ||
<div style="background-color:#e8f1ff; margin:0.5em; padding:1em; border:1px solid #C8D0DC;"> | <div style="background-color:#e8f1ff; margin:0.5em; padding:1em; border:1px solid #C8D0DC;"> | ||
Revision as of 09:37, 20 August 2009
De term multiple testing wordt gebruikt voor het uitvoeren van meerdere statistische toetsen op dezelfde dataset. Gevaar van multiple testing is dat je bij het doen van veel toetsen vaker op basis van toeval een verschil zult vinden. Je kunt corrigeren voor multiple testing door een strenger significantieniveau aan te houden (<0.05).
Wanneer moet ik corrigeren voor multiple testing?
Er zijn geen vaste regels voor wanneer je wel of niet moet corrigeren. Corrigeren is verstandig, omdat je daarmee te kans kleiner maakt dat je ten onrechte de nulhypothese verwerpt en daarmee ten onrechte een effect aanwijst (type I fout). Bij 20 vergelijkingen tussen groepen verwacht je bij een significatieniveau van 0.05 op basis van puur toeval 1 significant verschil te vinden.
Criteria om wel of niet te corrigeren kunnen zijn:
- De fase van het onderzoek. Er wordt wel eens geargumenteerd dat meer hypothetiserend onderzoek niet hoeft te corrigeren, terwijl bijvoorbeeld fase 3 onderzoek dat zeker moet doen. Wanneer het onderzoek nog explorerend is zal het onterecht aanwijzen van een effect leiden tot het uitvoeren van meer onderzoek hiernaar. Dit is een minder ernstig gevolg dan het op de markt brengen van een ten onrechte als effectief bestempeld middel.
- Het aantal testen dat je uitvoert. Bij het vergelijken van bijvoorbeeld 3 groepen zal er niet gecorrigeerd hoeven worden. In de genetica waar duizenden mogelijke mutaties getest worden wel.
- In hoeverre was het geobserveerde effect van te voren verwacht? Indien een duidelijk gehypothetiseerde vraagstelling getest wordt, zal er minder snel gewezen worden op de fout positieve kans dan wanneer er lukraak alles wat voorhanden is getest wordt.
Referenties
- No adjustments are needed for multiple comparisons. Epidemiology, Rothman, K., Vol. 1, No. 1 (1990), pp. 43-46
- Do multiple outcome measures require p-value adjustment? Feise, R.J., BMC Medical Research Methodology 2002, 2:8
- lecture notes multiple testing Jack Weiss, University of North Carolina. Lectures 32, 33 en 34 geven moderne inzichten over en oplossingen voor multiple testing
Terug naar OVERZICHT voor een overzicht van alle statistische onderwerpen op deze wiki.
Terug naar KEUZE TOETS voor hulp bij het uitzoeken van een geschikte toets of analyse.