C1 Kapitel 9 - Sannolikhetslära och inferensteori II

Transcription

Sannolikhetslära och inferens II
Kapitel 9
Egenskaper
hos
punktskattare
Måns Thulin, Sannolikhetslära och inferens II
1
Egenskaper hos punktskattare
En skattare är en funktion av stickprovet och således en
slumpvariabel. En bedömning av kvaliteten hos en skattare
(i avsikt att skatta någon parameter θ) kan därmed göras via
dess samplingfördelning.
Vanliga kriterier är
1. Väntevärdesriktighet (unbiasedness)
2. Konsistens (consistency)
3. Effektivitet (efficiency)
2
Konsistens
ˆ vara en punktskattare av parametern θ. Om
Definition. Låt θ
det för varje ε > 0 gäller att
eller ekvivalent
ˆ vara en konsistent punktskattare av θ.
sägs θ
ˆ konvergerar i sannolikhet till θ.
Ett ekvivalent påstående är att θ
Vi använder då följande notation.
3
Uppgift 9.26
Låt Y₁,Y₂,…,Yn vara olfsv U(0,θ).
ˆ (n)=max(Y₁,Y₂,…,Yn) är en konsistent skattare av θ.
Visa att θ=Y
Vi måste nu för varje ε>0 visa att
I uppgift 6.74 visades att fördelningsfunktionen för Y(n) ges av
4
Uppgift 9.26
Om ε>θ kan Y(n) inte avvika med mer än ε från θ vilket innebär
att saken är klar. Svårare blir det då 0<ε≤θ.
varför det följer att
5
Viktiga resultat rörande konsistens
ˆ vara en väntevärdesriktig skattare av θ. Då gäller att θˆ är
Sats 9.1. Låt θ
konsistent om
ˆ vara en konsistent skattare av θ och θ´
ˆ en konsistent
Sats 9.2. Låt θ
skattare av θ´. Då gäller följande
Om g är en reellvärd funktion som är kontinuerlig i θ följer dessutom att
6
Slutskys sats
Definition. Låt Fn(x) vara fördelningsfunktion för en slumpvariabel X vid stickprovsstorlek n och F(x) fördelningsfunktion
för en slumpvariabel Y. Om det för varje x gäller att
limn→∞Fn(x) = F(x) sägs X konvergera i fördelning till Y.
d
p
Sats 9.3 (Slutsky). Låt Un → Z där Z är N(0,1) och Wn → 1.
Då gäller att
7
Uppgift 9.36
Låt Y vara Bi(n,p) med p okänd. För att skatta p använder vi
p=Y/n.
ˆ
I uppgift 9.20 såg vi att pˆ är en väntevärdesriktig och konsistent
skattare av p med variansen V(p)=pq/n
där q=1-p.
ˆ
Enligt Centrala gränsvärdessatsen gäller dessutom att pˆ
approximativt är normalfördelad då n är stort vilket betyder att
vi kan konstruera ett konfidensintervall för p via pivotkvantiteten
Problemet är förstås att p är okänd. Hur löser vi detta problem?
8
Uppgift 9.36
d
Enligt CGS gäller att Zn → Z där Z är N(0,1).
p
Eftersom pˆ är en konsistent skattare av p gäller att pˆ → p.
Låter vi q=1-Y/n
följer av samma anledning att qˆ → q.
ˆ
p
p
Av Sats 9.2b följer nu att pq
ˆ ˆ → pq vilket innebär att
vilket enligt Sats 9.2d leder
till slutsatsen att
Slutligen följer av Sats 9.3 (Slutsky) att
9
Relativ effektivitet
ˆ och θ₂
ˆ vara två väntevärdesriktiga skattare av θ.
Låt θ₁
ˆ relativt θ₂
ˆ ges av kvoten
Effektiviteten hos θ₁
10
Absolut effektivitet
Det visar sig att det finns en undre gräns för hur liten varians en
väntevärdesriktig skattare kan ha.
Låt Y₁,Y₂,…,Yn vara olfsv med gemensam täthetsfunktion f(y)
som innehåller en okänd parameter θ.
Låt ˆθ vara en väntevärdesriktig skattare av θ. Då gäller att
I(θ) kallas för Cramér-Rao-gränsen. En skattare ˆθ för vilken det
ˆ
gäller att V(θ)=I(θ)
sägs vara effektiv.
11
Uttömmande statistikor (Sufficiency)
Hittills har skattare tagits fram baserat på intuition. Vi behöver
en mer vetenskaplig metod för att finna bra skattare.
En statistika sammanfattar den information som finns i ett
stickprov vilket betyder att viss information går förlorad.
En statistika som (i viss mening) innehåller all information från
stickprovet gällande θ sägs vara en uttömmande statistika för θ.
Låt X₁,X₂,…,Xn ha simultan täthetsfunktion f(x₁,x₂,…,xn ).
θˆ sägs vara uttömmande för θ om den betingade fördelningen.
inte beror på θ.
12
Likelihoodfunktionen och
Faktoriseringssatsen
Låt X₁,X₂,…,Xn ha simultan täthetsfunktion f(x₁,x₂,…,xn ) som
beror på någon parameter θ. Eftersom täthetens värde beror på
θ kan vi konstruera den sk Likelihoodfunktionen.
om olfsv.
Sats 9.4 (Faktoriseringssatsen). En statistika U är en
uttömmande statistika för θ om och endast om
där g(u,θ) är en funktion enbart av u och θ, samt att
h(x₁,x₂,…,xn ) är en funktion som inte beror på θ.
13
Uppgift 9.38 a
Låt Y₁,Y₂,…,Yn vara olfsv N(μ,σ) med μ okänd (men σ känd).
14
Uppgift 9.38 a
Det gäller alltså att
där
och
Följaktligen gäller att Y är en uttömmande statistika för μ.
15
Uppgift 9.49
Låt Y₁,Y₂,…,Yn vara olfsv U(0,θ). Vi vill undersöka om
är en uttömmande statistika för θ. Dock gäller att
vilket innebär att vi inte direkt kan avgöra detta.
För att lösa problemet införs en sk indikatorfunktion.
16
Uppgift 9.49
Detta innebär att täthetsfunktionen för U(0,θ) kan skrivas som
varför likelihoodfunktionen blir
Alltså följer av faktoriseringssatsen att Y(n) är en uttömmande
statistika för θ.
17
MVUE och Rao-Blackwell
Definition. Den väntevärdesriktiga skattare som har lägst
varians sägs vara MVUE (Minimum Variance Unbiased
Estimator).
ˆ vara en väntevärdesriktig skattare
Sats (Rao-Blackwell). Låt θ
ˆ
av θ sådan att V(θ)<∞.
Låt vidare U vara en uttömmande
statistika för θ. Konstruera nu en ny skattare
ˆ är en väntevärdesriktig skattare av θ som är
Då gäller att θ*
minst lika bra som ˆθ, dvs
18
MVUE och minsta uttömmande statistika
För att kunna finna MVUE måste vi först finna den minsta
uttömmande statistikan, dvs den som bäst sammanfattar
stickprovsinformationen angående θ.
Sats. Låt U vara en minsta uttömmande statistika för θ och
h(U) en funktion av U sådan att
Då gäller att h(U) är MVUE av θ.
För de allra flesta sannolikhetsfördelningar gäller att den
uttömmande statistika som följer via faktoriseringssatsen
(Sats 9.4) är en minsta uttömmande statistika.
19
Metod för att finna MVUE för θ
1. Använd faktoriseringssatsen (Sats 9.4) för att finna en
uttömmande statistika U för θ.
2. Bestäm E(U). För att finna E(U) måste man eventuellt först
finna sannolikhetsfördelningen för U, dvs fU(u) eller pU(u).
3. Modifiera (eventuellt) U via någon funktion h(U) så att
E[h(U)]=θ.
20
Uppgift 9.61 (forts. av 9.49)
1. I uppgift 9.49 visades via faktoriseringssatsen att Y(n) är en
(minsta) uttömmande statistika för θ.
2. I Exempel 9.1 visades att
3. Således följer att
är MVUE av θ.
21
Metod för att finna MVUE för g(θ)
Metoden kan även användas för att finna en MVUE för någon
funktion g(θ).
4. Eftersom h(U) är en MVUE för θ studeras g(h(U)).
5. g(h(U)) behöver inte vara en väntevärdesriktig skattare av
g(θ) men efter vidare modifiering fås W=h*(g(h(U))) där
Eftersom W är en funktion av den minsta uttömmande
statistikan U följer att W är en MVUE av g(θ).
22
Uppgift 9.64 a
Låt Y₁,Y₂,…,Yn vara olfsv N(μ,1). Bestäm MVUE av μ2.
4. Enligt uppgift 9.8a är Y MVUE av μ varför vi studerar (Y)2
5. Nu gäller dock att
varför vi modifierar och får
som är MVUE av μ2.
23
Momentmetoden
Typiskt för de flesta sannolikhetsfördelningar är att momenten
beror på fördelningens parametrar.
Tanken med momentmetoden är att skatta populationsmomentet av ordning k med motsvarande stickprovsmoment.
skattas med
Momentmetoden ger konsistenta skattare som dock inte alltid är
väntevärdesriktiga och inte heller de mest effektiva skattarna.
Den stora fördelen med momentmetoden är dess enkelhet.
24
Uppgift 9.69
Låt Y₁,Y₂,…,Yn vara olfsv med gemensam täthetsfunktion
För att med momentmetoden kunna skatta θ beräknas E(Y).
25
Uppgift 9.69
Enligt momentmetoden ska vi använda Y som skattare av E(Y)
ˆ ska lösa ekvationen
varför vi för att finna θ
Eftersom Y är en konsistent skattare av E(Y) följer av Sats 9.2
Faktoriseringssatsen ger att den minsta uttömmande skattaren
ˆ inte är en funktion av denna är den
är U=-ΣlnYi och eftersom θ
inte MVUE.
26
Maximum-Likelihood-metoden
Likelihoodfunktionen
anger sannolikheten/tätheten (eller likelihood) för just detta
stickprov som en funktion av θ.
En rimlig tanke är att som skattning av θ använda det värde på
θ som maximerar sannolikheten/tätheten för detta stickprov.
En skattare som använder denna princip sägs vara en
Maximum-Likelihood-skattare (ML-skattare).
27
Låt X₁,X₂,…,Xn vara olfsv med en sannolikhetsfördelning som
beror på någon parameter θ. Bestäm ML-skattaren för θ.
1. Bestäm den gemensamma sannolikhets-/täthetsfunktionen
f(x|θ) och bestäm likelihoodfunktionen
2. För att finna det värde på θ som maximerar L(θ) kan vi
(vanligtvis) derivera L(θ) och söka nollställe. Oftast är det
dock enklare att istället studera lnL(θ) varpå ML-skattaren blir
det värde på θ som löser ekvationen
28
Uppgift 9.82 a
Låt Y₁,Y₂,…,Yn vara olfsv med gemensam täthetsfunktion
Eftersom
följer att
är en (minsta) uttömmande statistika för θ.
29
Uppgift 9.82 b
Utifrån den i a-uppgiften bestämda likelihoodfunktionen följer att
Derivering med avseende på θ ger att
dvs
Således gäller att ML-skattaren av θ är
30
Uppgift 9.82 c
Utifrån den i a-uppgiften bestämda likelihoodfunktionen följer att
Låt x=yr
Liknar tätheten
för Ga(2,θ).
ˆ är en väntevärdesriktig skattare av θ.
Således gäller att θ
Eftersom ML-skattaren dessutom är en funktion av den minsta
uttömmande skattaren U följer att den är en MVUE för θ.
31
Låt U vara uttömmande för θ. Faktoriseringssatsen (9.4) ger att
där g(u,θ) är en funktion enbart av u och θ, samt att
h(x₁,x₂,…,xn ) är en funktion som inte beror på θ. Maximum för
beror således på stickprovet enbart utifrån U. Alltså följer att en
ML-skattare alltid är en funktion av U.
Om en ML-skattare kan göras väntevärdesriktig är den
följaktligen ofta MVUE för den aktuella parametern.
32
Uppgift 9.83 a
Låt Y₁,Y₂,…,Yn vara olfsv U(0,2θ+1). Bestäm ML-skattaren av
θ. Eftersom
kan problemet inte lösas på ”det vanliga sättet”.
Problemet med att parametern i definitionsområdet löser vi
(som tidigare) med hjälp av en indikatorfunktion. Det följer att
33
Uppgift 9.83 a
Alltså fås att
1. För att maximera L(θ) minimerar vi uttrycket (2θ+1)n vilket
innebär att θ ska väljas så litet som möjligt.
2. Indikatorfunktionen ger begränsningen att 2θ+1≥Y(n)
ML-skattningen av θ blir således
34
Trevliga egenskaper hos ML-skattare
ˆ vara ML-skattare för θ och låt t(θ)
Invariansegenskapen. Låt θ
vara en funktion av θ. Då gäller att
är ML-skattare av t(θ).
Asymptotisk effektivitet (Avsnitt 9.8, frivilligt). Under vissa
(vanligtvis uppfyllda) omständigheter gäller att ML-skattare
asymptotiskt uppfyller Cramér-Rao-gränsen.
35
Uppgift 9.83 b
Variansen för U(0,2θ+1) är
Det följer då att
Invariansegenskapen
är ML-skattare av V(Y).
36

C1 Kapitel 9 - Sannolikhetslära och inferensteori II

Transcription

Similar documents

C1 Kapitel 8 - Sannolikhetslära och inferensteori II

Kapitel 7 - Sannolikhetslära och inferensteori II

finns här - Sannolikhetslära och inferensteori II

här. - Södertälje Centrumförening

Grundläggande statistik

Bevingat_2009-2

Kombinatorik i gymnasieskolan

NR1 - Immeln

Morgan Alling sätter upp musikalen Romeo och Julia