Systematische reviews

Een systematisch review is een samenvatting van de literatuur over een specifiek onderwerp waarin op een transparante en gestructureerde wijze data verzameld en beschreven wordt om vertekening te voorkomen. Een systematische review kan kwalitatieve en/of kwantitatieve onderzoeken beschrijven.

Systematische reviews en meta-analyses

Er zijn verschillende fases bij het uitvoeren van een systematische review:

1. het definiëren van de onderzoeksvraag
2. het gestructureerd zoeken in elektronische literatuur-databases en het hanteren van de gekozen in- en exclusiecriteria om de benodigde literatuur te selecteren
3. het op methodologische kwaliteit beoordelen van de publicaties,
4. de extractie van de benodigde gegevens uit de gekozen artikelen,
5. het gestructureerd samenvatten van de uitkomsten van de studies en
6. het rapporteren van de resultaten van de systematische review.

Bij een systematische review van prognostische studies, kan een andere indeling van deze fases nuttig zijn [1]. Bij sommige systematische reviews wordt ook een meta-analyse uitgevoerd om de resultaten uit verschillende, maar methodologisch vergelijkbare studies statistisch samen te vatten [2].

Cochrane is een internationale organisatie die zorgverleners, beleidsmakers en patiënten helpt bij het nemen van beslissingen over gezondheidszorg. Deze organisatie doet dit door informatie over de effectiviteit van de gezondheidszorg in de vorm van systematische reviews te presenteren. Cochrane Reviews en de protocollen hiervan worden in The Cochrane Library gepubliceerd.

Een onderzoeksprotocol schrijven en publiceren of archiveren

Voordat onderzoekers een systematische review uitvoeren, is het aan te raden om een onderzoeksprotocol op te stellen. Zo leggen onderzoekers de onderzoeksdoelen, vraagstelling en methoden helder vast voordat zij het onderzoek uitvoeren. Bij het opstellen van het onderzoeksprotocol gebruikt men het liefst de Preferred Reporting Items for Systematic Review and Meta-Analysis Protocols (PRISMA-P) checklijst om te controleren of alle benodigde informatie in het document is opgenomen [3]. Het is aan te raden om al bij het schrijven van het protocol contact op te nemen met een gespecialiseerd methodoloog, klinisch informatiespecialist en/of statisticus. Het is in deze fase ook aan te raden om afspraken te maken over wie de auteurs worden en in welke volgorde zij zullen staan op de uiteindelijke publicatie. Zodra het protocol is opgesteld, is het aan te raden om het protocol te publiceren of openbaar te archiveren. Onderzoekers kunnen een protocol aanmelden bij PROSPERO (International prospective register of systematic reviews) om het openbaar te archiveren. Door het protocol te publiceren of openbaar te archiveren, laat men in een latere fase aan peer-reviewers van tijdschriften zien dat de gekozen onderzoeksmethoden al vóór het uitvoeren van de review zijn vastgesteld en dat er niet zomaar is “gevist” naar een aantrekkelijk resultaat met een leuke p-waarde. Ook laat men daarmee aan andere onderzoekers zien waarmee men momenteel bezig is, hetgeen de kans verkleint op het verschijnen van systematische reviews die zeer vergelijkbaar zijn.

Het definiëren van de onderzoeksvraag

Bij een systematische review is het belangrijk om de vraagstelling eenduidig op te schrijven. Dit kan door de vraagstelling op basis van PICOS (Population, Interventions, Comparators, Outcomes, Study designs) te definiëren. Sommige methodologen raden aan om hierin ook het onderdeel ‘Timeframe’ mee te nemen. Dit onderdeel geeft aan binnen welke tijdsperiode de behandeling, blootstelling of uitkomst heeft plaatsgevonden. Het is van belang om bij elk onderdeel van PICOS(T) voldoende specifiek te zijn. Een op PICOS(T) gebaseerde gedetailleerde uitwerking van de vraagstelling geeft concrete richting aan de uitvoer van het systematisch review, zoals de zoekstrategie, in- en exclusiecriteria en data-extractie.

Als een onderzoeker een vraagstelling heeft opgesteld, is het aan te raden om in de literatuur te controleren of iemand al eerder een vergelijkbare systematische review heeft gepubliceerd of een vergelijkbaar protocol in PROPERSO heeft gearchiveerd. Als er een vergelijkbare systematische review bestaat of in voorbereiding is, moet de onderzoeker zich kritisch afvragen of zijn/haar voorgenomen systematische review een betekenisvolle toevoeging geeft aan de wetenschappelijke literatuur.

Het zoeken naar literatuur en het hanteren van de gekozen in- en exclusiecriteria

Na het definiëren van de onderzoeksvraag worden in- en exclusiecriteria geformuleerd. Deze criteria dienen voor het opzetten van de zoekactie en het selecteren van de studies die een antwoord geven op de onderzoeksvraag. Aan de hand van de in- en exclusiecriteria wordt gestructureerd en sensitief naar literatuur gezocht. Veelgebruikte bibliografische databases van wetenschappelijke publicaties zijn PubMed en Embase. Het gebruik van meerdere databases en bronnen, van zowel gepubliceerde studies als grijze literatuur, wordt aangeraden om het risico op vertekening in de dataset te voorkomen. Dit resulteert echter vaak in een groot aantal studies.

De studies die door middel van de zoekactie gevonden zijn worden naast de in- en exclusiecriteria gelegd om zo de studies te selecteren die de review vraag beantwoorden. Het is aan te raden dit selectieproces door tenminste twee leden van de onderzoeksgroep onafhankelijk van elkaar uit te voeren.

Een klinisch informatiespecialist, vaak verbonden aan de medische bibliotheek, kan ondersteuning bieden bij het op de juiste wijze omzetten van de onderzoeksvraag naar een zoekopdracht [4]. Hij of zij kan ook adviseren over hoe de in- en exclusie van studies op juiste en efficiënte wijze in een zoekstrategie kunnen worden vertaald.

Het beoordelen van de methodologische kwaliteit

Als de onderzoeker de studies heeft geselecteerd om in de review mee te nemen, wordt een geschikte vragenlijst gebruikt om de methodologische kwaliteit hiervan te beoordelen. De juiste keuze van een vragenlijst hangt af van het onderzoeksdesign van de geïncludeerde studies. Zo zijn bijvoorbeeld vragenlijsten ontworpen voor gerandomiseerde en niet-gerandomiseerde interventie studies [5], diagnostische studies [6], case-studies [7], en vragenlijsten voor het beantwoorden van etiologische en prognostisch onderzoeksvragen en predictiemodellen. Een gespecialiseerd methodoloog kan adviseren bij het kiezen van de juiste vragenlijst.

De extractie van de data en het omrekenen van de uitkomstparameters

In deze fase worden de gerapporteerde onderzoeksgegevens uit de geïncludeerde studies geëxtraheerd en in een database opgeslagen. In het AMC kan dit bijvoorbeeld in Castor. Het is af te raden om de data in Excel op te slaan, te bewerken of te analyseren omdat het in dit pakket niet mogelijk is te werken met syntaxen, hetgeen een statistische voorwaarde is van goed onderzoek doen. Het is aan te raden dat twee onderzoekers onafhankelijk van elkaar de gegevens uit de studies extraheren (double data entry). Daarna worden de twee resulterende databestanden onderling vergeleken. Als er verschillen zijn, dan worden de gegevens nogmaals met de brondocumenten vergeleken en worden de fouten gecorrigeerd.

Tijdens het extractieproces zal soms ook besloten moeten worden welke getallen er precies uit een artikel overgenomen moeten worden. Het kan bijvoorbeeld zijn dat een getal in een tabel afwijkt van het getal in de tekst. Het is aan te raden om bij dit soort beslissingen te overleggen met de medeauteurs en te noteren wáárom voor een bepaalde waarde is gekozen. Het is mogelijk dat bij het extraheren van de onderzoeksgegevens niet alle gewenste parameters in de artikelen worden gevonden. Soms is het mogelijk om deze parameters op basis van andere informatie in het artikel te berekenen. Een voorbeeld hiervan is als de 'standard error' wordt gerapporteerd, maar de onderzoeker de standaarddeviatie nodig heeft. Afhankelijk van de beschikbare informatie kan een statisticus helpen bij het omrekenen. Maar soms is er simpelweg onvoldoende informatie beschikbaar. Dan kan men overwegen om de corresponding author te mailen om te vragen of de ontbrekende informatie elders te vinden is, dan wel die informatie op te sturen.

Presenteren en interpreteren van resultaten

De resultaten van de systematische review worden gepresenteerd in de vorm van tabellen en figuren, zoals een PRISMA flowchart voor het weergeven van de resultaten van de zoekstrategie. Een ‘Summary of Findings’ - tabel geeft een kort en krachtig overzicht van de hoeveelheid ‘evidence’, de kwaliteit van dat bewijs en de grootte van de effecten. Voor het beoordelen van de bewijskracht is GRADE de aangewezen methode.

Een meta-analyse is een statistische techniek waarbij de resultaten van verschillende studies gecombineerd worden tot een 'overall' resultaat [2]. Een belangrijke voorwaarde voor het uitvoeren van een meta-analyse is dat de studies voldoende op elkaar lijken. Het is in het algemeen af te raden om een meta-analyse uit te voeren op resultaten van een combinatie van gerandomiseerde trials, observationele cohorten en case-series. Ook is het af te raden om zeer kleine studies of studies met een “slechte” methodologische kwaliteit mee te nemen. Verder is aan te raden om na te gaan of het aannemelijk is dat elke individu slechts één keer in de meta-analyse meegenomen wordt. Dit is vooral van belang als er meerdere artikelen zijn die één gerandomiseerde trial, cohort of registratie beschrijven.

Resultaten rapporteren

Bij het rapporteren of publiceren van de systematische review is het belangrijk om alle benodigde informatie hierin op te nemen. De PRISMA-richtlijnen geven hierbij een goede leidraad [8]. Soms is het voldoende om alleen de PRISMA-richtlijnen te gebruiken. Maar er zijn ook uitbreidingen hiervan gepubliceerd. Deze uitbreidingen van de PRISMA-richtlijnen geven specifieke aanwijzingen over welke informatie in bepaalde typen systematische reviews opgenomen dient te worden. Zo zijn er richtlijnen voor reviews over diagnostische studies [9], bijwerkingen [10] en reviews die gebruik maken van een netwerk meta-analyse [11] of data op het niveau van de individuele patiënt [12]. Voor reviews van kwantitatieve onderzoeken is de ENTREQ richtlijn opgesteld [13].

Tot slot is het belangrijk om in de rapportage of publicatie duidelijk en met de betreffende referentie te vermelden dat vóór het uitvoeren van de systematische review een protocol geschreven.

Referenties

1. Riley RD, Moons KGM, Snell KIE, Ensor J, Hooft L, Altman DG, Hayden J, Collins GS, Debray TPA. A guide to systematic review and meta-analysis of prognostic factor studies. BMJ. 2019 Jan 30;364:k4597. DOI 10.1136/bmj.k4597

2. Field AP, Gillett R. How to do a meta-analysis. Br J Math Stat Psychol. 2010 Nov;63(Pt 3):665-94. DOI 10.1348/000711010X502733

3. Moher D, Shamseer L, Clarke M, Ghersi D, Liberati A, Petticrew M, Shekelle P, Stewart LA; PRISMA-P Group. Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015 statement. Syst Rev. 2015 Jan 1;4:1. DOI 10.1186/2046-4053-4-1.

4. McGowan J, Sampson M, Salzwedel DM, Cogo E, Foerster V, Lefebvre C. PRESS Peer Review of Electronic Search Strategies: 2015 Guideline Statement. J Clin Epidemiol. 2016 Jul;75:40-6.DOI 10.1016/j.jclinepi.2016.01.021.

5. Higgins JP, Altman DG, Gøtzsche PC, Jüni P, Moher D, Oxman AD, Savovic J, Schulz KF, Weeks L, Sterne JA; Cochrane Bias Methods Group; Cochrane Statistical Methods Group. The Cochrane Collaboration's tool for assessing risk of bias in randomised trials. BMJ. 2011 Oct 18;343:d5928. DOI 10.1136/bmj.d5928.

6. Whiting PF, Rutjes AW, Westwood ME, Mallett S, Deeks JJ, Reitsma JB, Leeflang MM, Sterne JA, Bossuyt PM; QUADAS-2 Group. QUADAS-2: a revised tool for the quality assessment of diagnostic accuracy studies. Ann Intern Med. 2011 Oct 18;155(8):529-36. DOI 10.7326/0003-4819-155-8-201110180-00009.

7. Murad MH, Sultan S, Haffar S, Bazerbachi F. Methodological quality and synthesis of case series and case reports. BMJ Evid Based Med. 2018 Apr;23(2):60-63. DOI 10.1136/bmjebm-2017-110853.

8. Moher D, Liberati A, Tetzlaff J, Altman DG; PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. J Clin Epidemiol. 2009 Oct;62(10):1006-12. DOI 10.1016/j.jclinepi.2009.06.005.

9. McInnes MDF, Moher D, Thombs BD, McGrath TA, Bossuyt PM; the PRISMA-DTA Group, Clifford T, Cohen JF, Deeks JJ, Gatsonis C, Hooft L, Hunt HA, Hyde CJ, Korevaar DA, Leeflang MMG, Macaskill P, Reitsma JB, Rodin R, Rutjes AWS, Salameh JP, Stevens A, Takwoingi Y, Tonelli M, Weeks L, Whiting P, Willis BH. Preferred Reporting Items for a Systematic Review and Meta-analysis of Diagnostic Test Accuracy Studies: The PRISMA-DTA Statement. JAMA. 2018 Jan 23;319(4):388-396. DOI 10.1001/jama.2017.19163.

10. Zorzela L, Loke YK, Ioannidis JP, Golder S, Santaguida P, Altman DG, Moher D, Vohra S; PRISMAHarms Group. PRISMA harms checklist: improving harms reporting in systematic reviews. BMJ. 2016 Feb 1;352:i157. DOI 10.1136/bmj.i157.

11. Hutton B, Salanti G, Caldwell DM, Chaimani A, Schmid CH, Cameron C, Ioannidis JP, Straus S, Thorlund K, Jansen JP, Mulrow C, Catalá-López F, Gøtzsche PC, Dickersin K, Boutron I, Altman DG, Moher D. The PRISMA extension statement for reporting of systematic reviews incorporating network meta-analyses of health care interventions: checklist and explanations. Ann Intern Med. 2015 Jun 2;162(11):777-84. DOI 10.7326/M14-2385.

12. Stewart LA, Clarke M, Rovers M, Riley RD, Simmonds M, Stewart G, Tierney JF; PRISMA-IPD Development Group. Preferred Reporting Items for Systematic Review and Meta-Analyses of individual participant data: the PRISMA-IPD Statement. JAMA. 2015 Apr 28;313(16):1657-65. DOI 10.1001/jama.2015.3656.

13. Tong A, Flemming K, McInnes E, Oliver S, Craig J. Enhancing transparency in reporting the synthesis of qualitative research: ENTREQ. BMC Med Res Methodol. 2012 Nov 27;12:181. DOI 10.1186/1471-2288-12-181.

Informatie op andere websites

• Cochrane Netherlands is één van de centra die wereldwijd het werk van Cochrane vertegenwoordigt.
• The Cochrane Handbook for Systematic Reviews.
• Cochrane Reviews en de protocollen hiervan worden in The Cochrane Library gepubliceerd.
• Onderzoekers kunnen een protocol aanmelden bij PROSPERO international prospective register of systematic reviews om het openbaar te archiveren.
• The Newcastle-Ottawa Scale (NOS) for assessing the quality of nonrandomised studies in meta-analyses.
• Cochrane Methods Prognosis Review Group Tools.
• Cochrane Qualitative and Implementation Methods Group
• The Equator Network heeft een bibliotheek van richtlijnen over welke informatie in een wetenschappelijke artikel hoort te zijn.
• The GRADE working group.

Klaar met lezen? Je kunt naar het OVERZICHT van alle statistische onderwerpen op deze wiki gaan of naar de pagina KEUZE TOETS voor hulp bij het uitzoeken van een geschikte toets of analyse. Wil je meer leren over biostatistiek? Volg dan de AMC e-learning Practical Biostatistics. Vind je op deze pagina's iets dat niet klopt? Werkt een link niet? Of wil je bijdragen aan de wiki? Neem dan contact met ons op.

De wiki biostatistiek is een initiatief van de voormalige helpdesk statistiek van Amsterdam UMC, locatie AMC. Medewerkers van Amsterdam UMC kunnen via intranet ondersteuning aanvragen.