Gauss approximationsformler

G AUSS ’ S APPROXIMATIONSFORMLER
M ATEMATISK STATISTIK AK, FMS 012
J OAKIM L ÜBECK , M ARS 2007
M AGNUS W IKTORSSON , N OV 2012
1
Gauß’s approximationsformler
Väntevärde och varians eller standardavvikelse är de viktigaste läges- och spridningsmåtten. Eftersom variansen är ett mått på osäkerheten är det intressant att kunna göra sig en uppfattning om dess storlek då man har en funktion av en eller flera variabler och man
känner de ingående variablernas varians.
1.1
En variabel
För en kontinuerlig stokastisk variabel X gäller för en funktion, g(X ), av denna att
! ∞
g(x)fX (x) dx
E(g(X )) =
−∞
men denna integral är inte alltid lösbar; fX (x) kanske inte ens är känd. Men känner man väntevärde och varians för X kan man få
approximativa värden på E(g(X )) och V (g(X )) genom att approximera g(X ) med en linjär funktion.
Första ordningens Taylorutveckling av g(X ) kring punkten μ = E(X ) kan skrivas
g(x) ≈ g(µ) + g’(µ)(x−µ) →
g(µ)
y
y
E(Y)
0
0
µ = E(X) =
x
0
0
µ
x
Figur 1.1: I vänstra figuren ses hur täthetsfunktionen för X (–) transformeras till täthetsfunktionen för Y (–) på y-axeln genom Y = g(X ) (–
). I högra figuren transformeras Y istället genom den räta linje som tangerar g i punkten (μ, g(μ)). Y ’s approximativa väntevärde
E(Y ) ≈ g(μ) är markerat.
g(X ) ≈ g(μ) + (X − μ)g ′ (μ),
dvs den räta linje som tangerar g(X ) i punkten μ. För väntevärde och varians för en linjär funktion har vi färdiga räkneregler (E(aX +
b) = aE(X ) + b och V (aX + b) = a2 V (X )) så vi får här (μ, g(μ) och g ′ (μ) är tal)
E(g(X )) ≈ E[g(μ) + (X − μ)g ′ (μ)] = g(μ) + g ′ (μ)E(X ) − g ′ (μ)μ = [E(X ) = μ] = g(μ)
V (g(X )) ≈ V [g(μ) + (X − μ)g ′ (μ)] = V (g ′ (μ)X ) = [g ′ (μ)]2 V (X ).
dvs
E(g(X )) ≈ g(E(X ))
V (g(X )) ≈ [g ′ (E(X ))]2 V (X ).
Om approximationen skall stämma bra bör naturligtvis funktionen g vara hyfsat linjär i en omgivning kring μ, säg μ plus minus ett par
standardavvikelser för X . Dessutom bör g inte ha något extremvärde i denna omgivning, om g ′ (μ) är noll blir ju approximationen av
V (g(X )) noll och är vi i närheten av denna punkt blir nog approximationen för liten. I figur 1.1 visas hur X ’s fördelning transformeras
av g och första ordningens Taylorutveckling av den samma. I just det fallet är funktionen g inte speciellt linjär i det område där X har
sin fördelning. Se avsnitt 2 för hur vi kan uppskatta felet i Gauss-approximationen.
1
G AUSS ’ S APPROXIMATIONSFORMLER
2
Exempel 1.1. Låt E(X ) = μ och V (X ) = σ2 .
(a) Bestäm approximativt väntevärde och varians för Y = g(X ) = πX 2 .
E(Y ) ≈ g(E(X )) = πμ2
V (Y ) ≈ [g ′ (E(X ))]2 V (X ) = [g ′ (X ) = 2πX ] = (2πμ)2 σ2
(b) Bestäm väntevärdet för Y utan approximation.
Eftersom V (X ) = E(X 2 ) − E(X )2 fås E(X 2 ) = V (X ) + E(X )2 och det sökta väntevärdet blir
E(Y ) = E(πX 2 ) = πE(X 2 ) = π(V (X ) + E(X )2 ) = πσ2 + πμ2
Vi ser att approximationen av väntevärdet alltid är för liten men att felet blir litet om σ är liten i förhållande till μ.
!
1.2
Flera variabler
För en reelvärd funktion av två variabler, g(X , Y ), som tar värden i R blir första ordningens Taylorutveckling kring punkten (μX , μY ) =
(E(X ), E(Y )) det plan som tangerar g i denna punkt
g(X , Y ) ≈ g(μX , μY ) + (X − μX )gX′ (μX , μY ) + (Y − μY )gY′ (μX , μY )
∂g
där gX′ = ∂X
och motsvarande för Y . För en linjär funktion av två variabler har vi att E(aX + bY + c) = aE(X ) + bE(Y ) + c och
V (aX + bY + c) = a2 V (X ) + b2 V (Y ) + 2abC(X , Y ), så i det här fallet fås
E(g(X , Y )) ≈ E[g(μX , μY ) + (X − μX )gX′ (μX , μY ) + (Y − μY )gY′ (μX , μY )] =
= g(μX , μY ) + (E(X ) − μX )gX′ (μX , μY ) + (E(Y ) − μY )gY′ (μX , μY ) = g(μX , μY )
V (g(X , Y )) ≈ V [g(μX , μY ) + (X − μX )gX′ (μX , μY ) + (Y − μY )gY′ (μX , μY )] =
= [gX′ (μX , μY )]2 V (X ) + [gY′ (μX , μY )]2 V (Y ) + 2gX′ (μX , μY )gY′ (μX , μY )C(X , Y ).
Detta kan generaliseras till en reelvärd funktion av n st. variabler X1 , . . . , Xn
E(g(X1 , . . . , Xn )) ≈ g(E(X1 ), . . . , E(Xn )).
n
"
"
ci2 V (Xi ) + 2
ci cj C(Xi , Xj ),
V (g(X1 , . . . , Xn )) ≈
i=1
där ci =
i<j
∂g
(E(X1 ), . . . , E(Xn ))
∂Xi
Exempel 1.2. Bestäm approximativa värden på variansen för X · Y och X /Y om X och Y är oberoende av varandra.
Uttryck svaren i μX , μY ,V (X ) och V (Y ).
1. g(X , Y ) = X · Y . gX′ (X , Y ) = Y och gY′ (X , Y ) = X .
V (X · Y ) ≈ [gX′ (μX , μY )]2 V (X ) + [gY′ (μX , μY )]2 V (Y ) =
= μ2Y V (X ) + μ2X V (Y )
2. g(X , Y ) =
X
Y
. gX′ (X , Y ) =
1
Y
och gY′ (X , Y ) = − YX2 .
X
1
μ2
V ( ) ≈ 2 V (X ) + 4X V (Y )
Y
μY
μY
!
1.3 Andra ordningens approximation∗
Vill man basera sin approximation på en andra ordningens Taylorutveckling av g, som för en variabel blir
1
g(X ) ≈ g(μ) + (X − μ)g ′ (μ) + (X − μ)2 g ′′ (μ),
2
3
2
F ELUPPSKATTNING FÖR G AUSS - APPROXIMATION
begränsar vi oss här till väntevärdet eftersom variansapproximationen blir ganska bökig och kommer att innehålla termer av E(X 3 )
och E(X 4 ) vilket man sällan har information om vid tillämpning av Gauß-approximation.
1
1
E(g(X )) ≈ g(μ) + E(X − μ)g ′ (μ) + E[(X − μ)2 ]g ′′ (μ) = g(μ) + V (X )g ′′ (μ).
2
2
För en funktion av n oberoende variabler kan man visa att
n
E(g(X1 , . . . , Xn )) ≈ g(E(X1 ), . . . , E(Xn )) +
där di =
1" 2
d V (Xi ),
2 i=1 i
∂2g
(E(X1 ), . . . , E(Xn ))
∂Xi2
Är de inte oberoende tillkommer kovarianstermer och korsderivator.
2
Feluppskattning för Gauss-approximation
För att beskriva felet behöver en uppskatting av resttermen i Taylorutvecklingen. Vi har från analyskursen att
g(x) = g(μ) + g ′ (μ)(x − μ) + g ′′ (ξ2 (x))
(x − μ)2
2
där ξ2 (x) är ett tal mellan x och μ, (givet att g” är kontinuerlig).
2.1 Feluppskatting för väntevärdet
Om |g ′′ (x)| < c2 för alla värden x som den stokastiska variabeln X kan anta så kan vi få en feluppskattning på felet i Gaussapproximationen av väntevärdet. Vi har att
# $
%#
#
(X − μ)2 ##
′
′′
#
|Eg(X ) − g(μ)| = #E g (μ)(X − μ) + g (ξ2 (X ))
#
2
# $
%#
2
#
(X − μ) ##
= ##E g ′′ (ξ2 (X ))
#
2
%
$
(X − μ)2
≤ E |g ′′ (ξ2 (X ))|
2
$
%
(X − μ)2
σ2
≤ c2 E
= c2
2
2
Om redan förstaderivatan har begränsat belopp, mindre än c1 säg, för alla värden x som X kan anta får vi istället
g(x) = g(μ) + g ′ (ξ1 (x))(x − μ)
där ξ1 (x) är ett tal mellan x och μ, (givet att g’ är kontinuerlig). Vilket ger
|E[g(X )] − g(μ)| = |E[g ′ (ξ1 (X ))(X − μ)]|
≤ E[|g ′ (ξ1 (X ))||X − μ|]
&
≤ c1 E[|X − μ|] ≤ c1 E[(X − μ)2 ] = c1 σ,
där den sista olikheten kommer från att
V (|X − μ|) = E(X − μ)2 − (E|X − μ|)2 ≥ 0.
Vilket ger att
E|X − μ| ≤
&
E(X − μ)2 = σ.
Så sammanfattningsvis gäller:
• Om |g ′ (x)| ≤ c1 för alla värden x som X kan anta har vi att
|E[g(X )] − g(μ)| ≤ c1 σ
• Om |g ′′ (x)| ≤ c2 för alla värden x som X kan anta har vi att
|E[g(X )] − g(μ)| ≤ c2
σ2
2
2
F ELUPPSKATTNING FÖR G AUSS - APPROXIMATION
4
Vi ser att båda feluppskattningarna går mot noll då σ går mot noll. Detta är typiskt för Gaussapproximation den blir bättre ju mindre
variansen för X är.
Exempel 2.1. Om vi använder feluppskattningen på g(x) = πx 2 från exempel 1.1 ser vi att g ′′ (x) = 2π vilket gör att vi
2
kan välja c2 = 2π. Detta ger feluppskattningen |E[g(X )] − g(μ)| ≤ 2π σ2 = πσ2 vilket i det här fallet är exakt lika med
det verkliga felet. I allmänhet kommer vi dock att överskatta felet.
!
Dock om varken g ′ eller g ′′ är begränsade behöver titta på högre moment för att kunna göra en feluppskattning. I de fall där man inte
kan göra en feluppskattning bör man vara försiktig med att använda Gauss-approximationen.
2.2 Feluppskattningar för flera variabler
Det går även att göra feluppskattningar för fallet med funktioner av flera variabler x = (x1 , x2 , . . . , xn ). Låt
gi′ (x) =
∂
∂2
g(x), gij′′ (x) =
g(x), i = 1, . . . , n, j = 1, . . . , n.
∂xi
∂xi ∂xj
• Om |gi′ (x)| ≤ c1i , i = 1, . . . , n för alla värden x som X = (X1 , X2 , . . . , Xn ) kan anta har vi att
|E[g(X )] − g(μ)| ≤
n
"
i=1
c1i
&
V (Xi )
• Om |gij′′ (x)| ≤ c2ij , i = 1, . . . , n, j = 1, . . . , n för alla värden x som X = (X1 , X2 , . . . , Xn ) kan anta har vi att
|E[g(X )] − g(μ)| ≤
n "
n
"
c2ij
i=1 j=1
2
C(Xi , Xj )
2.3 Feluppskattning för andra ordningens approximation∗
Vi har att
g(x) = g(μ) + g ′ (μ)(x − μ) + g ′′ (ξ2 (x))
(x − μ)2
2
där ξ2 (x) är ett tal mellan x och μ, (givet att g” är kontinuerlig). Om |g ′′ (x) − g ′′ (μ)| ≤ ¯c2 (μ) för alla värden x som X kan anta får vi
att
#
$
%#
#
#
1
Felet = ##E[g(X )] − E g(μ) + (X − μ)g ′ (μ) + (X − μ)2 g ′′ (μ)) ##
2
# $
%#
2 #
#
(X − μ) #
= ##E (g ′′ (ξ2 (X )) − g ′′ (μ))
#
2
# $
%#
#
(X − μ)2 ##
≤ ##E |g ′′ (ξ2 (X )) − g ′′ (μ)|
#
2
'
(
≤ ¯c2 (μ)E (X − μ)2 /2
= ¯c2 (μ)
σ2
.
2
I flervariabelfallet fås, om |gij′′ (x) − gij′′ (μ)| ≤ ¯c2ij (μ), i = 1, . . . , n, j = 1, . . . , n för alla värden x som X kan anta, att
Felet ≤
n "
n
"
¯c2ij (μ)C(Xi , Xj )/2,
i=1 j=1
med samma beteckningar som i avsnitt 2.2.
2.4 Feluppskattning för variansen∗
När det gäller feluppskattning för variansen är det svårare att säga något generellt utan att använda högre ordningens väntevärden dvs
EX 3 och EX 4 . Om dessa ej är kända så måste man anta g har en uppåt och neråt begränsad förstaderivata och att g’ är kontinuerlig.
Om |g ′ (x)2 − g ′ (μ)2 | ≤ d (μ) för alla värden x som X kan anta, så kan man få fram att
|V (g(X )) − E[g ′ (μ)2 (X − μ)2 ]| ≤ d (μ)σ2
Vi ser att även för approximationen av variansen så gäller det att approximationsfelet går mot noll då X :s varians går mot noll. Dock
var vi här tvungna att anta att g hade begränsad första derivata.