Multiple testing

Auteur	ir. N van Geloven
Co-Auteur
auteurschap op deze site

De term multiple testing wordt gebruikt voor het uitvoeren van meerdere statistische toetsen op dezelfde dataset. Gevaar van multiple testing is dat je bij het doen van veel toetsen vaker op basis van toeval een verschil zult vinden. Je kunt corrigeren voor multiple testing door een strenger significantieniveau aan te houden (<0.05).

Wanneer moet ik corrigeren voor multiple testing?

Er zijn geen vaste regels voor wanneer je wel of niet moet corrigeren. Corrigeren is verstandig, omdat je daarmee te kans kleiner maakt dat je ten onrechte de nulhypothese verwerpt en daarmee ten onrechte een effect aanwijst (type I fout). Bij 20 vergelijkingen tussen groepen verwacht je bij een significatieniveau van 0.05 op basis van puur toeval 1 significant verschil te vinden.

Criteria om wel of niet te corrigeren kunnen zijn:

• De fase van het onderzoek. Er wordt wel eens geargumenteerd dat meer hypothetiserend onderzoek niet hoeft te corrigeren, terwijl bijvoorbeeld fase 3 onderzoek dat zeker moet doen. Wanneer het onderzoek nog explorerend is zal het onterecht aanwijzen van een effect leiden tot het uitvoeren van meer onderzoek hiernaar. Dit is een minder ernstig gevolg dan het op de markt brengen van een ten onrechte als effectief bestempeld middel.
• Het aantal testen dat je uitvoert. Bij het vergelijken van bijvoorbeeld 3 groepen zal er niet gecorrigeerd hoeven worden. In de genetica waar duizenden mogelijke mutaties getest worden wel.
• In hoeverre was het geobserveerde effect van te voren verwacht? Indien een duidelijk gehypothetiseerde vraagstelling getest wordt, zal er minder snel gewezen worden op de fout positieve kans dan wanneer er lukraak alles wat voorhanden is getest wordt.

Hoe kan ik corrigeren met de Bonferroni methode?

Voor een onderzoek naar de betrouwbaarheid van het endoscopisch meten van een Barrett slokdarm heb ik multiple testen gedaan waarbij ik bijv de absolute overeenstemming tussen 2 endoscopisten van korte Barrett slokdarmen met lange Barrett slokdarmen vergelijk, expert endoscopisten met non-expert endoscopisten, enz. Allemaal verschillende vergelijkingen als secundaire eindpunten. In totaal gaat het om 24 vergelijkingen. Ik zou graag willen corrigeren voor het feit dat ik multiple testen doe met de Bonferroni methode. Klopt het (voor dit geval dan) dat ik na de Bonferroni correctie een alfa van 0.05/24=0.002 moet aanhouden? En ik dus alle p waarden boven de 0.002 als niet significant moet beschouwen?

Dit klopt.

Hoe kan ik corrigeren met minder strenge methoden dan de Bonferroni aanpassing?

Ik heb een vraag over corrigeren voor multiple testing. Ik heb hiervoor in een artikel de Bonferronimethode gebruikt, significantie level gedeeld door aantal testen. De reviewer van dit artikel vindt dat iets te drastisch en stelt de Holm's or Hochberg's methode voor (mij onbekend). Hoe kan ik deze correctiemethodes uitvoeren?

De Holm's methode is simpel met de hand (of in excel oid) te doen. Het komt erop neer dat je de laagste p-waarde deelt door het aantal testen, de een na laagste door het aantal testen min een, twee na laagste p-waarde door aantal testen min twee etc. Je ziet het ook hier uitgelegd.

De methode van Benjamini en Hochberg is iets geavanceerder. Deze (en een boel andere) aangepaste p-waardes zijn wel makkelijk te verkrijgen via de mt.rawp2adjp functie in de R package multtest. Aan deze functie geef je de ruwe p-waardes en krijg je de gecorrigeerde terug. Zie ook de multtest manual.

Referenties

• No adjustments are needed for multiple comparisons. Epidemiology, Rothman, K., Vol. 1, No. 1 (1990), pp. 43-46
• Do multiple outcome measures require p-value adjustment? Feise, R.J., BMC Medical Research Methodology 2002, 2:8
• Lecture notes multiple testing Jack Weiss, University of North Carolina. Lectures 32, 33 en 34 geven moderne inzichten over en oplossingen voor multiple testing
• Controlling the false discovery rate: a practical and powerful approach to multiple testing, Benjamini Y, Hochberg Y, Journal of the Royal Statistical Society, Series B (Methodological), Vol.57, No 1.(1995), 289-300.

Terug naar OVERZICHT voor een overzicht van alle statistische onderwerpen op deze wiki.

Terug naar KEUZE TOETS voor hulp bij het uitzoeken van een geschikte toets of analyse.