Obligatorisk oppgavesett nr. 1

Obligatorisk oppgave 1 – MAT1120 H15
Innleveringsfrist: torsdag 24/09-2015, innen kl 14.30.
Besvarelsen leveres på Matematisk institutt, 7. etasje i N.H. Abels
hus. Husk å bruke forsiden som du finner via hjemmesiden.
Dersom du på grunn av sykdom eller andre tungtveiende grunner
har behov for å utsette innleveringen, må du i god tid før innleveringsfristen sende søknad til:
[email protected]
Husk at sykdom må dokumenteres ved legeattest.
Oppgavesettet består av tilsammen 9 oppgaver/deloppgaver. For
å få godkjent Oblig 1 kan høyst ett av disse 9 punktene leveres blankt
og det må komme klart frem fra din besvarelse at du har gjort et
seriøst forsøk på å løse alle de andre punktene. Videre må minst
6 av de 9 punktene være besvart på en tilfredstillende måte, med
en ryddig fremstilling og gode begrunnelser. Det vil også bli lagt
vekt på at Matlab-delene i oppgavesettet er rimelig godt besvart –
en besvarelse som viser mangelfulle Matlab-ferdigheter kan bli underkjent selv om den tilfredstiller de andre kravene. Der det står at
Matlab skal brukes, må det vedlegges passende utskrifter med kommentarer. Det er tillatt å bruke Python (eller en annen programpakke enn Matlab), men husk at det vil kunne bli stilt spørsmål som
kreves kjennskap til Matlab ved slutteksamen.
Studenter som ikke får sin opprinnelige besvarelse godkjent, men
som har gjort et reelt forsøk på å løse oppgavesettet, vil få en mulighet til å levere en revidert besvarelse. Studenter som ikke får
godkjent begge sine besvarelser til Oblig 1 og Oblig 2 vil ikke få
adgang til avsluttende eksamen.
Det er lov å samarbeide om oppgavene. Men alle må levere
sin egen personlige besvarelse og selv ha gjennomført alle Matlabkjøringer. Er vi i tvil om at du virkelig ha forstått det du har levert
inn, kan vi be deg om en muntlig redegjørelse.
Det vises ellers til regelverket for obligatoriske oppgaver, som du
finner via hjemmesiden til emnet.
1
Om Markov kjeder og absorpsjonssannsynligheter
Avsnitt 4.9 i læreboka gir en innføring i Markov kjeder. Vi minner
om at en Markov kjede i Rn er en følge av sannsynlighetsvektorer
x0 , x1 , x2 , . . . i Rn som er slik at
xk+1 = P xk , k = 0, 1, 2, . . .
der P er en n × n stokastisk matrise. Vi har da at xk = P k x0 for
alle k = 0, 1, 2, . . . Husk her at P 0 = In (= n×n identitetsmatrisen).
Markov kjeder brukes ofte til å modellere “tilfeldige” prosesser
med “diskret” tidsskala. Anta at vi studerer et system som kan
veksle mellom et endelig antall tilstander, la oss si n. Hva som
menes med tilstander i en konkret situasjon er gjerne en del av selve
modelleringen av systemet. Er det f.eks. været i Oslo vi ønsker
å modellere som en tilfeldig prosess kan vi innskrenke oss til en
grov inndeling i tre tilstander (f.eks. sol, skyet og regn), eller vi
kan innføre flere tilstander (f.eks. sol, delvis skyet, jevnt overskyet,
periodevis regn, regn).
Vi tenker oss at overgang mellom tilstander skjer ved tidspunktene 1, 2, . . . og styres i henhold til bestemte sannsynligheter (som
gjerne anslås ved eksperimenter). Vi antar her at disse sannsynlighetene ikke forandrer seg med tiden (i mer naturtro modeller vil
disse ofte gjøre det). Mengden S = {s1 , s2 , . . . , sn } av alle de n
ulike tilstandene systemet kan være i kalles gjerne tilstandsrommet
til systemet. Sannsynligheten for at systemet går fra tilstand sj til
tilstand si i ett tidsskritt angis ved et tall pij i intervallet [0, 1]. Disse
sannsynlighetene,
som kalles overgangssannsynligheter, tilfredstiller
P
da at ni=1 pij = 1 for enhver j, slik at n × n matrisen P = [pij ]
er en stokastisk matrise. Matrisen P kalles overgangsmatrisen til
systemet.
Vanligvis er vi gitt en startvektor x0 ∈ Rn som er en sannsynlighetsvektor; den i-te komponenten ai til x0 angir da sannsynligheten for at systemet er i tilstand si ved starttidspunktet t = 0.
Hvis vi f.eks. vet med 100 prosents sikkerhet (altså med sannsynlighet 1) at systemet er i tilstand sj for en bestemt j ved t = 0, betyr
det at aj = 1, mens ai = 0 når i 6= j, altså at x0 = ej (som betegner
standardbasisvektor nr. j i Rn ). I denne obligen skal vi stort sett
tenke oss Markov kjeder der startvektoren er en av ej -ene, dvs at
prosessen begynner i en av tilstandene (“starttilstanden”) ved t = 0.
Vektoren x1 = P x0 blir en ny sannsynlighetsvektor (dette følger av oppgave 4.9.19 i boka). Denne vektoren er slik at dens i-te
2
komponent angir sannsynligheten for at systemet er i tilstand si
ved tidspunktet t = 1. De neste vektorene i den assosierte Markov
kjeden, gitt ved xk+1 = P xk , k ≥ 0, har en tilsvarende tolkning.
Ofte blir et system som ovenfor fremstilt ved hjelp av en figur
som viser alle tilstandene og de positive overgangssannsynlighetene,
angitt ved piler. (Vi sløyfer altså pil fra tilstanden sj til tilstanden
si dersom pij = 0.)
Eksempel 1. La n = 5. Et system er angitt ved følgende figur:
1
&
s1
t
0.7
0.3
s2 j
*
0.5
s3 j
0.5
*
0.35
s4
0.65
Den tilhørende overgangsmatrisen blir

1 0.7 0
0
 0 0 0.5 0


P =
 0 0.3 0 0.65
 0 0 0.5 0

0 0
0 0.35
0
0
0
0
1
*
s5 h
1




.



(1)
Her er f.eks. p32 = 0.3, så sannsynligheten for å gå fra tilstand s2 til
tilstand s3 i ett tidsskritt er 0.3.
Produktet av to overgangssannsynligheter har en naturlig tolkning som sannsynligheten for at en bestemt begivenhet inntreffer.
Anta f.eks. at prosessen ovenfor starter i tilstand s3 . Hva er da
sannsynligheten for at prosessen går slik:
s3 → s2 → s1
i løpet av to tidsskritt?
Jo, denne begivenheten har sannsynlighet lik produktet av de to
aktuelle overgangssannsynlighetene, nemlig p12 p23 = 0.7 · 0.5 = 0.35.
Vi kan her tenke oss at en “partikkel” starter i s3 , hopper derfra
til en tilstand sl med sannsynlighet pl3 ved t = 1, at den hopper
videre derfra til en tilstand si med sannsynlighet pil ved t = 2, osv.
Sannsynligheten for at partikkelen vandrer langs “veien” s3 → s2 →
s1 i løpet av to tidsskritt (blant alle mulige “veier” fra s3 i løpet av
to tidsskritt) er da nettopp p12 p23 = 0.7 · 0.5 = 0.35.
3
Vi betrakter igjen et system med tilstandsrom S = {s1 , . . . , sn }
og overgangsmatrise P = [pij ].
(k)
Vi vil bruke følgende notasjon: hvis k ∈ {0, 1, 2, . . .} lar vi pij
betegne elementet i posisjon (i, j) i matrisen P k .
Elementene i matrisen P k kan også tolkes som sannsynligheter:
(k)
Elementet pij angir sannsynligheten for at systemet går fra tilstand
sj til tilstand si i løpet av k tidsskritt.
Vi begrunner dette for k = 2. Rad-kolonne-regelen for matriseproduktet P 2 = P P gir at
(2)
pij
=
n
X
pil plj
l=1
Nå er pil plj sannsynligheten for å gå fra sj til sl og videre derfra
til si i h.h.v. første og andre tidsskritt. Ved å summere over alle
mulige mellomtilstander sl får vi sannsynligheten for å gå fra sj til
si i løpet av 2 tidsskritt.
Oppgave 1 Betrakt systemet med overgangsmatrise P angitt i (1).
Bruk Matlab til å beregne P k for k ∈ {2, 3, 4, 40, 80}. Angi
deretter sannsynlighetene for at systemet går fra tilstand s4 til tilstand s2 i løpet av henholdsvis 2, 3, 4, 40 og 80 tidsskritt.
I avsnitt 4.9 i boka er mye av fokus rettet mot Markov kjeder
der overgangsmatrisen er såkalt regulær. Dette skyldes at det slike
stokastiske matriser har en entydig bestemt likevektsvektor, som
vektorene i enhver Markov kjede vil konvergere mot (se Teorem 18 i
avsnitt 4.9). Regularitetet er et sterkt krav, som mange stokastiske
matriser ikke oppfyller, noe vi skal se eksempler på i denne obligen.
Oppgave 2 La igjen P være den stokastiske matrisen angitt i (1).
Bestem en basis for Nul(P − I5 ). Begrunn deretter at P ikke er
regulær. (Hint: Har P en entydig likevektsvektor?). Kunne du ha
konkludert med at P ikke er regulær på grunnlag av beregningene du
utførte i Oppgave 1?
Vi går tilbake til et system med tilstandsrom S = {s1 , . . . , sn } og
overgangsmatrise P = [pij ].
(k)
Betrakt tilstander sj og si . Dersom pij > 0 for en k ≥ 0 sier vi
at tilstand sj leder til tilstand si og skriver da
sj
si .
4
(0)
(k)
Merk at vi alltid har sj
sj (siden pjj = 1). At vi har pij > 0 for
en k ≥ 1 svarer til at det er en positiv sannsynlighet for å gå fra sj
til si i løpet av k tidsskritt: det finnes da (minst) en “vei”
sj → sj1 → sj2 → · · · → sjk → si
der sannsynlighetene pj1 j , pj2 j1 , . . . , pijk alle er positive.
Hvis vi har at sj
si og si
sj , sier vi at si og sj kommuniserer
(med hverandre), og skriver sj ←→ si .
Eksempel 2. La n = 3 og betrakt systemet:
1
&
s1
t
0.7
0.3
s2 j
*
s3
1
Her ser vi f.eks. at s2 ←→ s3 , s2
s1 og s3
s1 , mens s1 ikke
kommuniserer med s2 og heller ikke med s3 : det fins jo ingen vei
som leder fra s1 til en annen tilstand (enn s1 selv).
Hvis sk er en tilstand, kalles mengden som består av alle tilstandene i S som kommuniserer med sk for en (kommunikasjons)klasse.
Det kan begrunnes at tilstandsrommet S kan alltid oppdeles i et
endelig antall parvis disjunkte klasser. I Eksempel 2 er det f.eks.
klart at det fins bare to forskjellige klasser, nemlig K1 = {s1 } og
K2 = {s2 , s3 }.
En klasse K kalles lukket dersom sj ∈ K og sj
si medfører at
si ∈ K.
Dette betyr at så snart prosessen (tenk på en partikkel som vandrer, som nederst på side 3) kommer inn i klassen K, så vil den aldri
komme ut av denne igjen.
I Eksempel 2 er K1 lukket, mens K2 ikke er lukket (siden vi f.eks.
har at s2 ∈ K2 og s2
s1 , samtidig som s1 6∈ K2 ).
Dersom en tilstand si er slik at {si } er en lukket klasse kalles
si for en absorberende tilstand (fordi prosessen kommer aldri ut av
denne tilstanden hvis den kommer dit en gang). I Eksempel 2 er s1
absorberende.
Oppgave 3
a) Bestem klassene for systemet beskrevet i Eksempel 1. Angi
hvilke klasser som er lukket, og hvilke tilstander som er absorberende.
b) Betrakt et system der overgangsmatrisen P er regulær. Begrunn at det fins da bare én klasse, med andre ord at alle tilstandene
kommuniserer med hverandre.
5
Gitt en starttilstand sj og en lukket klasse K, kan vi stille oss
følgende grunnleggende spørsmål: hva er sannsynligheten for at prosessen før eller siden havner i K?
Vi setter derfor:
xK
j = sannsynligheten for at prosessen før eller siden
kommer til en tilstand i K, gitt starttilstand sj
(2)
for j = 1, 2, . . . , n.
Neste oppgave handler om hvordan vi kan bestemme alle disse
absorpsjonssannsynlighetene xK
j . Det kan nemlig vises at absorpsjonssannsynlighetene oppfyller følgende lineære likningssystem:
xK
for hver sj ∈ K
j = 1
Pn
K
K
6 K
xj = i=1 pij xi for hver sj ∈
(3)
der 1 ≤ j ≤ n. (De som ønsker det kan forsøke å begrunne dette ut
fra elementær sannsynlighetsregning.)
Oppgave 4
K
Betrakt igjen systemet beskrevet i Eksempel 1. Beregn xK
2 og x3
for hver av de lukkede klassene du fant i Oppgave 3 a).
Vi skal til slutt se på en noe mer generell situasjon enn den fra
Eksempel 1. Igjen er tilstandsrommet S = {s1 , s2 , . . . , s5 }, men vi
antar nå at systemets overgangsmatrise P er gitt ved


1 p2 0 0 0
 0 0 p3 0 0 



0
q
0
p
0
(4)
P =
2
4


 0 0 q3 0 0 
0 0 0 q4 1
der 0 < pi < 1 og qi = 1 − pi for i = 2, 3, 4.
Oppgave 5
a) Begrunn at s1 er en absorberende tilstand. Finnes det andre
absorberende tilstander?
b) La xj være sannsynligheten for at prosessen før eller siden
kommer til tilstand s1 (med andre ord, at den absorberes i tilstanden
s1 ) når den starter i tilstand sj (j = 1, 2, . . . , 5). Videre, la A være
3 × 3 matrisen gitt ved
6


1 −q2 0
A =  −p3 1 −q3 
0 −p4 1
Forklar ut fra (3) at vektoren y = (x2 , x3 , x4 ) (som består av de
“ikke-trivielle” absorpsjonssannsynlighetene) er løsning av systemet
A y = b for en viss vektor b ∈ R3 som du skal bestemme.
(Hint: Bestem først de “trivielle” absorpsjonssannsynlighetene x1
og x5 ).
c) Begrunn at A kan omformes ved hjelp av to elementære radoperasjoner til en øvre triangulær matrise. Forklar deretter hvorfor
A er invertibel. Hva kan du si om løsningen til systemet A y = b ?
d) Lag en Matlab funksjon Walk som for en inputvektor (p2 , p3 , p4 )
gjør følgende
• sjekker at 0 < pj < 1 og beregner qj = 1 − pj for j = 2, 3, 4,
• setter opp matrisen A og vektoren b,
• løser systemet A y = b og returnerer vektoren y = (x2 , x3 , x4 ).
Kjør programmet med (p2 , p3 , p4 ) = (0.2, 0.5, 0.3) som inputvektor
og rapporter løsningen (x2 , x3 , x4 ). Legg ved utskrift av koden.
Sluttkommentarer:
a) Et system med en overgangsmatrise angitt ved (4) kan f.eks.
oppstå ved at to personer E og G konkurrerer mot hverandre. Tilstandene s2 , s3 og s4 beskriver da at de spiller et bestemt spill
for j = 2, 3, 4 (spillene kan være forskjellige), mens tallet pj angir
sannsynligheten for at E vinner spillet sj . Videre tolkes tilstanden
s1 som at E har vunnet hele konkurransen, mens s5 tolkes som at
G har vunnet den. Et naturlig valg av starttilstand vil være at de
begynner med spill s3 ; tallet x3 vil da angi sannsynligheten for at E
vinner konkurransen.
b) Denne oppgaven kan utvides til en enda mer generell situasjon
der tilstandsrommet består av n tilstander og inputvektoren består
av sannsynligheter (p2 , p3 , . . . , pn−1 ). Det overlates til spesielt interesserte å tenke over hvordan Oppgave 5 kan da reformuleres (og
løses!).
Lykke til!
7