Bij het uitvoeren van een test van betekenis of hypothesetestzijn er twee cijfers die gemakkelijk door elkaar worden gehaald. Deze getallen zijn gemakkelijk te verwarren omdat ze beide getallen tussen nul en één zijn en beide waarschijnlijkheden zijn. Een nummer wordt de p-waarde van de teststatistiek genoemd. Het andere aantal interesses is het significantieniveau of alpha. We zullen deze twee kansen onderzoeken en het verschil tussen beide bepalen.
Alpha-waarden
Het getal alpha is de drempelwaarde die we meten p-waarden tegen. Het vertelt ons hoe extreem waargenomen resultaten moeten zijn om de nulhypothese van een significantietest te verwerpen.
De waarde van alpha wordt geassocieerd met het betrouwbaarheidsniveau van onze test. Hieronder volgen enkele betrouwbaarheidsniveaus met hun gerelateerde alpha-waarden:
- Voor resultaten met een betrouwbaarheidsniveau van 90 procent is de waarde van alpha 1 - 0,90 = 0,10.
- Voor resultaten met 95 procent niveau van vertrouwen, de waarde van alpha is 1 - 0,95 = 0,05.
- Voor resultaten met een betrouwbaarheidsniveau van 99 procent is de waarde van alpha 1 - 0,99 = 0,01.
- En in het algemeen is de waarde van alpha voor resultaten met een betrouwbaarheidsniveau van C procent 1 - C / 100.
Hoewel in theorie en praktijk veel getallen kunnen worden gebruikt voor alfa, is de meest gebruikte 0,05. De reden hiervoor is zowel omdat consensus aantoont dat dit niveau in veel gevallen geschikt is en historisch gezien als standaard is geaccepteerd. Er zijn echter veel situaties waarin een kleinere waarde van alpha moet worden gebruikt. Er is geen enkele waarde van alpha dat bepaalt altijd statistische significantie.
De alpha-waarde geeft ons de kans op a type I-fout. Type I-fouten treden op wanneer we een nulhypothese verwerpen die echt waar is. Dus op de lange termijn voor een test met een mate van belang van 0,05 = 1/20, wordt een echte nulhypothese één op de twintig keer verworpen.
P-waarden
Het andere getal dat deel uitmaakt van een significantietest is een p-waarde. Een p-waarde is ook een kans, maar komt uit een andere bron dan alpha. Elke teststatistiek heeft een bijbehorende kans of p-waarde. Deze waarde is de waarschijnlijkheid dat de waargenomen statistiek alleen bij toeval is opgetreden, ervan uitgaande dat de nulhypothese waar is.
Aangezien er een aantal verschillende teststatistieken zijn, zijn er een aantal verschillende manieren om een p-waarde te vinden. In sommige gevallen moeten we de kansverdeling van de populatie.
De p-waarde van de teststatistiek is een manier om te zeggen hoe extreem die statistiek is voor onze voorbeeldgegevens. Hoe kleiner de p-waarde, hoe onwaarschijnlijker het waargenomen monster.
Verschil tussen P-waarde en Alpha
Om te bepalen of een waargenomen resultaat statistisch significant is, vergelijken we de waarden van alpha en de p-waarde. Er ontstaan twee mogelijkheden:
- De p-waarde is kleiner dan of gelijk aan alpha. In dit geval verwerpen we de nulhypothese. Wanneer dit gebeurt, zeggen we dat het resultaat statistisch significant is. Met andere woorden, we zijn er redelijk zeker van dat er naast toeval alleen iets is dat ons een waargenomen steekproef heeft gegeven.
- De p-waarde is groter dan alpha. In dit geval weigeren we de nulhypothese. Wanneer dit gebeurt, zeggen we dat het resultaat niet statistisch significant is. Met andere woorden, we zijn er redelijk zeker van dat onze waargenomen gegevens alleen door toeval kunnen worden verklaard.
De implicatie van het bovenstaande is dat hoe kleiner de waarde van alpha is, hoe moeilijker het is om te beweren dat een resultaat statistisch significant is. Aan de andere kant, hoe groter de waarde van alpha, hoe gemakkelijker het is om te beweren dat een resultaat statistisch significant is. Hieraan gekoppeld is echter de grotere kans dat wat we waarnamen kan worden toegeschreven aan toeval.