Multiple testing

Auteur	dr.ir. N van Geloven
Co-Auteur
auteurschap op deze site

De term multiple testing wordt gebruikt voor het uitvoeren van meerdere statistische toetsen op dezelfde dataset. Gevaar van multiple testing is dat je bij het doen van veel toetsen vaker op basis van toeval een verschil zult vinden. Je kunt corrigeren voor multiple testing door een strenger significantieniveau aan te houden (<0.05).

Wanneer moet ik corrigeren voor multiple testing?

Er zijn geen vaste regels voor wanneer je wel of niet moet corrigeren. Corrigeren is verstandig, omdat je daarmee te kans kleiner maakt dat je ten onrechte de nulhypothese verwerpt en daarmee ten onrechte een effect aanwijst (type I fout). Bij 20 vergelijkingen tussen groepen verwacht je bij een significatieniveau van 0.05 op basis van puur toeval 1 significant verschil te vinden.

Criteria om wel of niet te corrigeren kunnen zijn:

• De fase van het onderzoek. Er wordt wel eens geargumenteerd dat meer hypothetiserend onderzoek niet hoeft te corrigeren, terwijl bijvoorbeeld fase 3 onderzoek dat zeker moet doen. Wanneer het onderzoek nog explorerend is zal het onterecht aanwijzen van een effect leiden tot het uitvoeren van meer onderzoek hiernaar. Dit is een minder ernstig gevolg dan het op de markt brengen van een ten onrechte als effectief bestempeld middel.
• Het aantal testen dat je uitvoert. Bij het vergelijken van bijvoorbeeld 3 groepen zal er niet gecorrigeerd hoeven worden. In de genetica waar duizenden mogelijke mutaties getest worden wel.
• In hoeverre was het geobserveerde effect van te voren verwacht? Indien een duidelijk gehypothetiseerde vraagstelling getest wordt, zal er minder snel gewezen worden op de fout positieve kans dan wanneer er lukraak alles wat voorhanden is getest wordt.

Hoe kan ik corrigeren met de Bonferroni methode?

Voor een onderzoek naar de betrouwbaarheid van het endoscopisch meten van een Barrett slokdarm heb ik multiple testen gedaan waarbij ik bijv de absolute overeenstemming tussen 2 endoscopisten van korte Barrett slokdarmen met lange Barrett slokdarmen vergelijk, expert endoscopisten met non-expert endoscopisten, enz. Allemaal verschillende vergelijkingen als secundaire eindpunten. In totaal gaat het om 24 vergelijkingen. Ik zou graag willen corrigeren voor het feit dat ik multiple testen doe met de Bonferroni methode. Klopt het (voor dit geval dan) dat ik na de Bonferroni correctie een alfa van 0.05/24=0.002 moet aanhouden? En dat ik dus alle p waarden boven de 0.002 als niet significant moet beschouwen?

Dit klopt.

Mag ik een Bonferroni correctie toepassen als ik een non-parametrische test hebt gedaan?

Mijn analyse heeft betrekking op de vergelijking van plasmawaarden van gezonde vrijwilligers en patienten. In mijn congres-abstract heb ik het nu als volgt verwoord: "Plasma concentrations are provided as median (95% CI). Statistical analysis was done by Mann-Whitney U. p < 0.05 was considered significant (p < 0.0029 after Bonferroni correction)."

De bonferroni correctie is niet specifiek voor een parametrische test. Je kunt deze dus gebruiken.

Hoe kan ik corrigeren met minder strenge methoden dan de Bonferroni aanpassing?

Ik heb een vraag over corrigeren voor multiple testing. Ik heb hiervoor in een artikel de Bonferronimethode gebruikt, significantie level gedeeld door aantal testen. De reviewer van dit artikel vindt dat iets te drastisch en stelt de Holm's or Hochberg's methode voor (mij onbekend). Hoe kan ik deze correctiemethodes uitvoeren?

De Holm's methode is simpel met de hand (of in excel oid) te doen. Het komt erop neer dat je de laagste p-waarde vermenigvuldigt met het aantal testen, de een na laagste met het aantal testen min een, twee na laagste p-waarde met aantal testen min twee etc. Equivalent kun je ook zeggen dat je het gehanteerde significantieniveau alpha voor de laagste p-waarde deelt door het aantal testen, voor de een na laagste p-waarde deelt door het aantal testen min een etc. Je ziet het ook hier uitgelegd.

Een voorbeeld van een meer geavanceerde methode is de methode van Benjamini en Hochberg. Deze methode probeert het aandeel van vals positieven onder controle te houden. Deze (en een boel andere) aangepaste p-waardes zijn redelijk makkelijk te verkrijgen via de mt.rawp2adjp functie in de R package multtest. Aan deze functie geef je de ruwe p-waardes en krijg je de gecorrigeerde terug. Zie ook de multtest manual.

Referenties

• No adjustments are needed for multiple comparisons. Epidemiology, Rothman, K., Vol. 1, No. 1 (1990), pp. 43-46
• Do multiple outcome measures require p-value adjustment? Feise, R.J., BMC Medical Research Methodology 2002, 2:8
• Controlling the false discovery rate: a practical and powerful approach to multiple testing, Benjamini Y, Hochberg Y, Journal of the Royal Statistical Society, Series B (Methodological), Vol.57, No 1.(1995), 289-300.

Klaar met lezen? Je kunt naar het OVERZICHT van alle statistische onderwerpen op deze wiki gaan of naar de pagina KEUZE TOETS voor hulp bij het uitzoeken van een geschikte toets of analyse. Wil je meer leren over biostatistiek? Volg dan de AMC e-learning Practical Biostatistics. Vind je op deze pagina's iets dat niet klopt? Werkt een link niet? Of wil je bijdragen aan de wiki? Neem dan contact met ons op.

De wiki biostatistiek is een initiatief van de voormalige helpdesk statistiek van Amsterdam UMC, locatie AMC. Medewerkers van Amsterdam UMC kunnen via intranet ondersteuning aanvragen.