Een vraag die altijd belangrijk is statistieken is: “Is het waargenomen resultaat het gevolg van alleen toeval, of is het dat statistisch significant? ' Een klasse van hypothesetests, permutatietests genoemd, stellen we in staat deze vraag te testen. Het overzicht en de stappen van zo'n test zijn:
- We splitsten onze proefpersonen op in een controlegroep en een experimentele groep. De nulhypothese is dat er geen verschil is tussen deze twee groepen.
- Pas een behandeling toe op de experimentele groep.
- Meet de respons op de behandeling
- Overweeg elke mogelijke configuratie van de experimentele groep en de waargenomen reactie.
- Bereken een p-waarde op basis van onze waargenomen respons ten opzichte van alle potentiële experimentele groepen.
Dit is een overzicht van een permutatie. Om dit overzicht te vatten, zullen we tijd besteden aan het gedetailleerd bekijken van een uitgewerkt voorbeeld van een dergelijke permutatietest.
Voorbeeld
Stel dat we muizen bestuderen. We zijn vooral geïnteresseerd in hoe snel de muizen een doolhof voltooien dat ze nog nooit eerder zijn tegengekomen. We willen bewijs leveren voor een experimentele behandeling. Het doel is om aan te tonen dat muizen in de behandelgroep het doolhof sneller oplossen dan onbehandelde muizen.
We beginnen met onze proefpersonen: zes muizen. Gemakshalve worden de muizen aangeduid met de letters A, B, C, D, E, F. Drie van deze muizen worden willekeurig geselecteerd voor de experimentele behandeling en de andere drie worden in een controlegroep geplaatst waarin de proefpersonen een placebo krijgen.
We zullen vervolgens willekeurig de volgorde kiezen waarin de muizen worden geselecteerd om het doolhof te laten lopen. De tijd die wordt besteed aan het voltooien van het doolhof voor alle muizen wordt genoteerd en een gemiddelde van elke groep wordt berekend.
Stel dat onze willekeurige selectie muizen A, C en E in de experimentele groep heeft, met de andere muizen in de placebo controlegroep. Nadat de behandeling is uitgevoerd, kiezen we willekeurig de volgorde waarin de muizen door het doolhof moeten rennen.
De looptijden voor elk van de muizen zijn:
- Muis A loopt de race in 10 seconden
- Muis B loopt de race in 12 seconden
- Mouse C loopt de race in 9 seconden
- Muis D loopt de race in 11 seconden
- Muis E loopt de race in 11 seconden
- Mouse F loopt de race in 13 seconden.
De gemiddelde tijd om het doolhof voor de muizen in de experimentele groep te voltooien is 10 seconden. De gemiddelde tijd om het doolhof te voltooien voor degenen in de controlegroep is 12 seconden.
We kunnen een paar vragen stellen. Is de behandeling echt de reden voor de snellere gemiddelde tijd? Of hadden we gewoon geluk in onze selectie van controle- en experimentele groep? De behandeling had mogelijk geen effect en we kozen willekeurig de langzamere muizen om de placebo te krijgen en snellere muizen om de behandeling te krijgen. Een permutatietest helpt om deze vragen te beantwoorden.
Hypothesen
De hypothesen voor onze permutatietest zijn:
- De nulhypothese is de verklaring zonder effect. Voor deze specifieke test hebben we H0: Er is geen verschil tussen behandelgroepen. De gemiddelde tijd om het doolhof te laten lopen voor alle muizen zonder behandeling is hetzelfde als de gemiddelde tijd voor alle muizen met de behandeling.
- De alternatieve hypothese is wat we proberen te bewijzen ten gunste van. In dit geval zouden we H hebbeneen: De gemiddelde tijd voor alle muizen met de behandeling zal sneller zijn dan de gemiddelde tijd voor alle muizen zonder de behandeling.
Permutaties
Er zijn zes muizen en er zijn drie plaatsen in de experimentele groep. Dit betekent dat het aantal mogelijke experimentele groepen wordt gegeven door het aantal combinaties C (6,3) = 6! / (3! 3!) = 20. De overige individuen zouden deel uitmaken van de controlegroep. Er zijn dus 20 verschillende manieren om willekeurig individuen in onze twee groepen te kiezen.
De toewijzing van A, C en E aan de experimentele groep werd willekeurig gedaan. Aangezien er 20 van dergelijke configuraties zijn, heeft de specifieke met A, C en E in de experimentele groep een kans van 1/20 = 5% dat deze optreedt.
We moeten alle 20 configuraties van de experimentele groep individuen in ons onderzoek bepalen.
- Experimentele groep: A B C en controlegroep: D E F
- Experimentele groep: A B D en controlegroep: C E F
- Experimentele groep: A B E en controlegroep: C D F
- Experimentele groep: A B F en controlegroep: C D E
- Experimentele groep: A C D en controlegroep: B E F
- Experimentele groep: A C E en controlegroep: B D F
- Experimentele groep: A C F en controlegroep: B D E
- Experimentele groep: A D E en controlegroep: B C F
- Experimentele groep: A D F en controlegroep: B C E
- Experimentele groep: A E F en controlegroep: B C D
- Experimentele groep: B C D en controlegroep: A E F
- Experimentele groep: B C E en controlegroep: A D F
- Experimentele groep: B C F en controlegroep: A D E
- Experimentele groep: B D E en controlegroep: A C F
- Experimentele groep: B D F en controlegroep: A C E
- Experimentele groep: B E F en controlegroep: A C D
- Experimentele groep: C D E en controlegroep: A B F
- Experimentele groep: C D F en controlegroep: A B E
- Experimentele groep: C E F en controlegroep: A B D
- Experimentele groep: D E F en controlegroep: A B C
Vervolgens kijken we naar elke configuratie van experimentele en controlegroepen. We berekenen het gemiddelde voor elk van de 20 permutaties in de bovenstaande lijst. Voor de eerste hebben A, B en C bijvoorbeeld tijden van respectievelijk 10, 12 en 9. Het gemiddelde van deze drie getallen is 10,3333. Ook in deze eerste permutatie hebben D, E en F tijden van respectievelijk 11, 11 en 13. Dit heeft een gemiddelde van 11.6666.
Na berekening van de gemiddelde van elke groepberekenen we het verschil tussen deze gemiddelden. Elk van de volgende komt overeen met het verschil tussen de experimentele en controlegroepen die hierboven zijn vermeld.
- Placebo - behandeling = 1,333333333 seconden
- Placebo - behandeling = 0 seconden
- Placebo - behandeling = 0 seconden
- Placebo - behandeling = -1,333333333 seconden
- Placebo - behandeling = 2 seconden
- Placebo - behandeling = 2 seconden
- Placebo - behandeling = 0,666666667 seconden
- Placebo - behandeling = 0,666666667 seconden
- Placebo - behandeling = -0,666666667 seconden
- Placebo - behandeling = -0,666666667 seconden
- Placebo - behandeling = 0,666666667 seconden
- Placebo - behandeling = 0,666666667 seconden
- Placebo - behandeling = -0,666666667 seconden
- Placebo - behandeling = -0,666666667 seconden
- Placebo - behandeling = -2 seconden
- Placebo - behandeling = -2 seconden
- Placebo - behandeling = 1,333333333 seconden
- Placebo - behandeling = 0 seconden
- Placebo - behandeling = 0 seconden
- Placebo - behandeling = -1,333333333 seconden
P-waarde
Nu rangschikken we de verschillen tussen de gemiddelden van elke groep die we hierboven hebben genoteerd. We geven ook een tabel met het percentage van onze 20 verschillende configuraties die worden weergegeven door elk verschil in middelen. Vier van de 20 hadden bijvoorbeeld geen verschil tussen de middelen van de controle- en behandelingsgroepen. Dit vertegenwoordigt 20% van de 20 hierboven genoemde configuraties.
- -2 voor 10%
- -1,33 voor 10%
- -0.667 voor 20%
- 0 voor 20%
- 0,667 voor 20%
- 1,33 voor 10%
- 2 voor 10%.
Hier vergelijken we deze vermelding met ons waargenomen resultaat. Onze willekeurige selectie van muizen voor de behandelings- en controlegroepen resulteerde in een gemiddeld verschil van 2 seconden. We zien ook dat dit verschil overeenkomt met 10% van alle mogelijke monsters. Het resultaat is dat we voor deze studie een p-waarde van 10%.