Stel dat we een willekeurig voorbeeld van een populatie van belang. We hebben misschien een theoretisch model voor de manier waarop de bevolking wordt verspreid. Er kunnen echter verschillende populaties zijn parameters waarvan we de waarden niet kennen. Een schatting van de maximale waarschijnlijkheid is een manier om deze onbekende parameters te bepalen.
Het basisidee achter de schatting van de maximale waarschijnlijkheid is dat we de waarden van deze onbekende parameters bepalen. We doen dit op een zodanige manier dat een bijbehorende gewrichtswaarschijnlijkheidsdichtheidsfunctie wordt gemaximaliseerd of kansdichtheidsfunctie. We zullen dit in meer detail bekijken in wat volgt. Vervolgens berekenen we enkele voorbeelden van een schatting van de maximale waarschijnlijkheid.
Stappen voor maximale waarschijnlijkheidsschatting
De bovenstaande discussie kan als volgt worden samengevat:
- Begin met een steekproef van onafhankelijke willekeurige variabelen X1X2,... Xn van een gemeenschappelijke verdeling elk met kansdichtheidsfunctie f (x; θ1,.. .θk). De theta's zijn onbekende parameters.
- Omdat onze steekproef onafhankelijk is, wordt de kans op het verkrijgen van de specifieke steekproef die we waarnemen gevonden door onze kansen met elkaar te vermenigvuldigen. Dit geeft ons een waarschijnlijkheidsfunctie L (θ1,.. .θk) = f (x1 ;θ1,.. .θk) f (x2 ;θ1,.. .θk)... f (xn ;θ1,.. .θk) = Π f (xik ;θ1,.. .θk).
- Vervolgens gebruiken we Calculus om de waarden van theta te vinden die onze waarschijnlijkheidsfunctie L. maximaliseren
- Meer specifiek differentiëren we de waarschijnlijkheidsfunctie L ten opzichte van θ als er een enkele parameter is. Als er meerdere parameters zijn, berekenen we partiële afgeleiden van L met betrekking tot elk van de theta-parameters.
- Om het proces van maximalisatie voort te zetten, stelt u de afgeleide van L (of partiële afgeleiden) gelijk aan nul en lost u op voor theta.
- We kunnen dan andere technieken gebruiken (zoals een tweede afgeleide test) om te verifiëren dat we een maximum hebben gevonden voor onze waarschijnlijkheidsfunctie.
Voorbeeld
Stel dat we een pakje zaden hebben, die allemaal een constante kans hebben p van succes van kieming. We planten n hiervan en tel het aantal dat ontspruit. Ga ervan uit dat elk zaad onafhankelijk van de anderen ontspruit. Hoe bepalen we de maximale waarschijnlijkheidsschatter van de parameter p?
We beginnen met op te merken dat elk zaad gemodelleerd is door een Bernoulli-distributie met een succes van p. Wij laten X 0 of 1 zijn, en de kans-massafunctie voor een enkel zaadje is f(x; p ) = pX(1 - p)1 - x.
Onze steekproef bestaat uit n anders Xik, elk met heeft een Bernoulli-distributie. De zaden die ontkiemen hebben Xik = 1 en de zaden die niet ontkiemen hebben Xik = 0.
De waarschijnlijkheidsfunctie wordt gegeven door:
L ( p ) = Π pXik(1 - p)1 - Xik
We zien dat het mogelijk is om de waarschijnlijkheidsfunctie te herschrijven met behulp van de wetten van exponenten.
L ( p ) = pΣ xik(1 - p)n - Σ xik
Vervolgens onderscheiden we deze functie ten opzichte van p. We gaan ervan uit dat de waarden voor alle Xik zijn bekend en daarom constant. Om de waarschijnlijkheidsfunctie te onderscheiden, moeten we de gebruiken productregel samen met de machtsregel:
L '( p ) = Σ xikp-1 + Σ xik (1 - p)n - Σ xik- (n - Σ xik ) pΣ xik(1 - p)n-1 - Σ xik
We herschrijven enkele van de negatieve exponenten en hebben:
L '( p ) = (1/p) Σ xikpΣ xik (1 - p)n - Σ xik- 1/(1 - p) (n - Σ xik ) pΣ xik(1 - p)n - Σ xik
= [(1/p) Σ xik - 1/(1 - p) (n - Σ xik)]ikpΣ xik (1 - p)n - Σ xik
Om het proces van maximalisatie voort te zetten, stellen we deze afgeleide gelijk aan nul en lossen we op p:
0 = [(1/p) Σ xik - 1/(1 - p) (n - Σ xik)]ikpΣ xik (1 - p)n - Σ xik
Sinds p en 1- p) zijn niet nul we hebben dat
0 = (1/p) Σ xik - 1/(1 - p) (n - Σ xik).
Vermenigvuldig beide kanten van de vergelijking met p(1- p) geeft ons:
0 = (1 - p) Σ xik - p (n - Σ xik).
We breiden de rechterkant uit en zien:
0 = Σ xik - p Σ xik - pn + p xik = Σ xik - pn.
Dus Σ xik = pn en (1 / n) Σ xik = p. Dit betekent dat de maximale waarschijnlijkheidsschatter van p is een steekproefgemiddelde. Meer specifiek is dit het monsteraandeel van de ontkiemde zaden. Dit sluit perfect aan bij wat intuïtie ons zou vertellen. Om te bepalen hoeveel zaden zullen ontkiemen, moet u eerst een steekproef uit de populatie van belang bekijken.
Wijzigingen aan de stappen
Er zijn enkele wijzigingen in de bovenstaande lijst met stappen. Zoals we hierboven hebben gezien, is het bijvoorbeeld meestal de moeite waard om wat tijd te besteden aan het gebruik van een of andere algebra om de uitdrukking van de waarschijnlijkheidsfunctie te vereenvoudigen. De reden hiervoor is om de differentiatie gemakkelijker uit te voeren.
Een andere wijziging in de bovenstaande lijst met stappen is het overwegen van natuurlijke logaritmen. Het maximum voor de functie L komt op hetzelfde punt voor als voor de natuurlijke logaritme van L. Het maximaliseren van ln L staat dus gelijk aan het maximaliseren van de functie L.
Door de aanwezigheid van exponentiële functies in L, zal het nemen van de natuurlijke logaritme van L een groot deel van ons werk vaak vereenvoudigen.
Voorbeeld
We zien hoe we de natuurlijke logaritme kunnen gebruiken door het voorbeeld van bovenaf opnieuw te bekijken. We beginnen met de waarschijnlijkheidsfunctie:
L ( p ) = pΣ xik(1 - p)n - Σ xik .
We gebruiken dan onze logaritmewetten en zien dat:
R ( p ) = ln L ( p ) = Σ xik ln p + (n - Σ xik) ln (1 - p).
We zien al dat de afgeleide veel gemakkelijker te berekenen is:
R '( p ) = (1/p) Σ xik - 1/(1 - p)(n - Σ xik) .
Nu, zoals eerder, stellen we deze afgeleide gelijk aan nul en vermenigvuldigen we beide zijden met p (1 - p):
0 = (1- p ) Σ xik - p(n - Σ xik) .
We lossen het op p en vind hetzelfde resultaat als voorheen.
Het gebruik van de natuurlijke logaritme van L (p) is op een andere manier nuttig. Het is veel gemakkelijker om een tweede afgeleide van R (p) te berekenen om te verifiëren dat we echt een maximum hebben op het punt (1 / n) Σ xik = p.
Voorbeeld
Stel voor een ander voorbeeld dat we een willekeurige steekproef X hebben1X2,... Xn van een populatie die we modelleren met een exponentiële verdeling. De kansdichtheidsfunctie voor één willekeurige variabele heeft de vorm f( X ) = θ-1e -X/θ
De waarschijnlijkheidsfunctie wordt gegeven door de gezamenlijke kansdichtheidsfunctie. Dit is een product van verschillende van deze dichtheidsfuncties:
L (θ) = Π θ-1e -Xik/θ = θ-ne -ΣXik/θ
Nogmaals, het is nuttig om de natuurlijke logaritme van de waarschijnlijkheidsfunctie te beschouwen. Dit differentiëren vergt minder werk dan het differentiëren van de waarschijnlijkheidsfunctie:
R (θ) = ln L (θ) = ln [θ-ne -ΣXik/θ]
We gebruiken onze wetten van logaritmen en verkrijgen:
R (θ) = ln L (θ) = - n ln θ + -ΣXik/θ
We onderscheiden op θ en hebben:
R '(θ) = - n / θ + ΣXik/θ2
Stel deze afgeleide gelijk aan nul en we zien dat:
0 = - n / θ + ΣXik/θ2.
Vermenigvuldig beide kanten met θ2 en het resultaat is:
0 = - n θ + ΣXik.
Gebruik nu algebra om θ op te lossen:
θ = (1 / n) ΣXik.
We zien hieruit dat het steekproefgemiddelde de kansfunctie maximaliseert. De parameter θ die bij ons model past, zou gewoon het gemiddelde moeten zijn van al onze waarnemingen.
Aansluitingen
Er zijn andere soorten schatters. Een alternatief type schatting wordt een genoemd onbevooroordeelde schatter. Voor dit type moeten we de verwachte waarde van onze statistiek berekenen en bepalen of deze overeenkomt met een bijbehorende parameter.