Effect maten

Waarom komen onze effect sizes niet overeen met onze p-waardes?

We zijn bezig met een manuscript over neuropsychologie bij behandel en controle patienten. We hebben Cohen's d effectsizes toegevoegd aan de tabel met de verschilscores (3 weken follow up tov baseline en 8 maanden follow up tov baseline). De effectsizes hebben we als volgt berekend: 'We computed effect sizes according to Cohen’s d. Effect size is defined as the difference between the mean change scores of both groups divided by the pooled SD of the change scores. An effect of 0.2 reflects a small effect, 0.5 a medium, and 0.8 a large effect.' Onze effect sizes zijn nogal groot, soms zelfs als de p-waarde niet significant is. We vinden dit moeilijk te interpreteren. Kan u ons adviseren?

De ogenschijnlijke discrepanties tussen effect size en p-waardes zouden statistisch als volgt verklaard kunnen worden: Cohen's d geeft een maat aan de sterkte van het effect, in relatie tot de spreiding (SD). Gegeven dat je een grote n hebt, kun je het effect en de SD goed schatten en zal deze maat in het algemeen in lijn zijn met de p-waardes. Bij kleine n echter, is Cohen's d niet in staat om de onzekerheid door de kleine aantallen te verwerken. Er wordt in de berekening nergens gecorrigeerd / rekening gehouden met het aantal datapunten dat als input heeft gediend voor het effect en de spreiding. Bij een toets (en resulterende p-waarde) wordt dat aspect uiteraard wel meegenomen. Maw: als je in een kleine groep een sterk effect ziet, dan zal er een grote Cohen's d zijn en een niet significante p-waarde. Andersom geldt dit ook: in een hele grote steekproef kan een kleine effect size (kleine Cohen's d) wel statistisch significant zijn. Wellicht verklaart dit bij jullie de vraagtekens?

Referenties

Terug naar OVERZICHT voor een overzicht van alle statistische onderwerpen op deze wiki.

Terug naar KEUZE TOETS voor hulp bij het uitzoeken van een geschikte toets of analyse.