EEN paradox is een verklaring of fenomeen dat op het eerste gezicht tegenstrijdig lijkt. Paradoxen helpen de onderliggende waarheid te onthullen onder de oppervlakte van wat absurd lijkt. Op het gebied van statistiek laat de paradox van Simpson zien wat voor soort problemen het gevolg zijn van het combineren van gegevens van verschillende groepen.
Bij alle gegevens moeten we voorzichtig zijn. Waar kwam het vandaan? Hoe is het verkregen? En wat zegt het eigenlijk? Dit zijn allemaal goede vragen die we moeten stellen wanneer we gegevens krijgen. Het zeer verrassende geval van Simpsons paradox laat ons zien dat wat de gegevens lijken te zeggen soms niet echt het geval is.
Een overzicht van de paradox
Stel dat we verschillende groepen observeren en een relatie aangaan of correlatie voor elk van deze groepen. De paradox van Simpson zegt dat wanneer we alle groepen combineren en de gegevens in geaggregeerde vorm bekijken, de correlatie die we eerder hebben opgemerkt, zichzelf kan omkeren. Dit komt meestal door loerende variabelen die niet zijn overwogen, maar soms ook door de numerieke waarden van de gegevens.
Voorbeeld
Laten we naar het volgende voorbeeld kijken om een beetje meer inzicht te krijgen in de paradox van Simpson. In een bepaald ziekenhuis zijn er twee chirurgen. Chirurg A opereert bij 100 patiënten en 95 overleven. Chirurg B opereert bij 80 patiënten en 72 overleven. We overwegen om in dit ziekenhuis een operatie te laten uitvoeren en het doormaken van de operatie is belangrijk. We willen de betere kiezen van de twee chirurgen.
We bekijken de gegevens en gebruiken deze om te berekenen welk percentage van de patiënten van chirurg A hun operatie heeft overleefd en vergelijken met het overlevingspercentage van de patiënten van chirurg B.
- 95 van de 100 patiënten overleefden met chirurg A, dus 95/100 = 95% van hen overleefden.
- 72 van de 80 patiënten overleefden met chirurg B, dus 72/80 = 90% van hen overleefden.
Welke chirurg moeten we uit deze analyse kiezen om ons te behandelen? Het lijkt erop dat chirurg A de veiligere gok is. Maar is dat wel zo?
Wat als we wat verder onderzoek zouden doen naar de gegevens en ontdekten dat het ziekenhuis oorspronkelijk had overwogen twee verschillende soorten operaties, maar voegde vervolgens alle gegevens samen om over elk daarvan te rapporteren chirurgen. Niet alle operaties zijn gelijk, sommige werden beschouwd als noodoperaties met een hoog risico, terwijl andere van routinematige aard waren die van tevoren waren gepland.
Van de 100 patiënten die chirurg A behandelde, hadden er 50 een hoog risico, waarvan er drie stierven. De andere 50 werden als routine beschouwd en van deze stierven er 2. Dit betekent dat een patiënt die wordt behandeld door chirurg A voor een routinematige operatie een overlevingspercentage van 48/50 = 96% heeft.
Nu kijken we nauwkeuriger naar de gegevens van chirurg B en ontdekken dat van de 80 patiënten er 40 een hoog risico hadden, waarvan er zeven stierven. De andere 40 waren routine en slechts één stierf. Dit betekent dat een patiënt een overlevingspercentage van 39/40 = 97,5% heeft voor een routinematige operatie met chirurg B.
Welke chirurg lijkt nu beter? Als uw operatie routinematig moet zijn, dan is chirurg B eigenlijk de betere chirurg. Als we alle operaties van de chirurgen bekijken, is A beter. Dit is nogal contra-intuïtief. In dit geval beïnvloedt de loerende variabele van het type operatie de gecombineerde gegevens van de chirurgen.
Geschiedenis van Simpson's Paradox
De paradox van Simpson is genoemd naar Edward Simpson, die deze paradox voor het eerst beschreef in de paper uit 1951 'The Interpretation of Interaction in Contingency Tables' uit de Tijdschrift van de Royal Statistical Society. Pearson en Yule observeerden elk een vergelijkbare paradox een halve eeuw eerder dan Simpson, dus Simpsons paradox wordt ook wel het Simpson-Yule-effect genoemd.
Er zijn veel uiteenlopende toepassingen van de paradox op uiteenlopende gebieden als sportstatistieken en werkloosheidsgegevens. Pas op wanneer deze gegevens worden geaggregeerd, dat deze paradox verschijnt.