Processus stochastiques

Processus stochastiques
Adapté de Yannis Korilis, Christian St-Jean, Dave
DeBarr, Bob Carpenter, Jennifer Chu-Carroll et plusieurs
autres
Processus stochastique
 Phénomène chronologique où intervient le hasard
 Caractérisé par ses différentes réalisations
 Les valeurs instantanées sont des variables aléatoires
Ex: Suite de lancers de dé (par ex., 1,3,2,5,3,6,2,4…
réalisation
Signal radar,
Écho de voix
V.A.
 Notation :
 Temps continu : X(t )
 Temps discret : X(tn) ; X(nTe) ; X(n) ; Xn
Processus de Poisson
 Les signaux observés sont « rares » et leur survenue dépend
du temps d’attente T et d’un paramètre 
 Le nombre de signaux durant T est:
P( N (t  T )  N (t )  k ) 
( T ) k
k!
e  T
 Le délai entre deux signaux suit une loi exp. de paramètre 
Pt T eT
 Le temps d’attente entre « k » signaux suit une loi G
 Processus de renouvellement typique (c.à.d sans mémoire)
Exemple
 Dans un ensemble de documents analysés, le nombre moyen de motifs
remarquables est 3 par document :

Temps moyen d’attente : 1/3 de document

Nombre moyen de motifs par document : 3
Probabilité qu’il n’y ait aucun motif recherché dans 1 document :
•
30 3
P(X 0) e 0.049
0!
Probabilité qu’il y ait moins de 3 motifs recherchés dans 3 documents :
•
P ( X  3) 
90
0!
e
9

91
1!
e
9

92
2!
e 9  0.0062
•
Probabilité de fouiller plus d’un document avant de trouver un
motif recherché : P(T  1)  e3  0.049
•
Probabilité de fouiller plus de 3 documents avant de trouver un
motif recherché : P(T  3)  e9  0.00012
Exemple
 Le nombre quotidien de personnes qui visitent une bibliothèque suit
une loi de Poisson de paramètre  = 12. Quelle est la probabilité que
plus de 250 personnes viennent durant 22 jours ouvrables ?
•
•
•
On a T = 12·22 = 264.
La probabilité recherchée est donc
P(X  250) = 1 - P(X < 250) = 1 - exp(-264)·Si=0..249 264i/i! = 0.813
On peut accélérer les calculs en faisant l’approximation de la distribution de Poisson par une
gaussienne de moyenne m = et de variance s2, valant toues les deux T = 264. Cela donne :
P(X  250) = P(X - m  -14) @ P((Y - m)/s  250/s) = P(Z  -14/264½)
où Z est une variable normale standard. Donc
P(X  250) @ ½·[1 + erf(7·33½/66)] = 0.806
Processus de Markov

L’évolution du processus dépend de son comportement
passé (processus à mémoire)
•
1er ordre : Si on observe on à l ’instant tn, alors
P( X (tn )  on X (tn1 )  on1,..., X (t1 )  o1 )  P( X (tn )  on X (tn1 )  on1 )
L’état courant du système suffit pour prédire son prochain état
•
2nd ordre : L’état courant du système et celui le précédant suffisent
pour prédire le prochain état.
Andrei Markov (1856-1922) : statisticien russe spécialisé en modèles probabilistes temporels.
Chaîne de Markov
 Processus stochastique à temps discret
 Les états Xn forment une suite d’indice {0,1,2,…}
Exemple:
Alphabet : S = {‘A’,’C’,’G’,’T’}
Séquence : {Xn} = ACGCCTAGGCTAGCTTATCG
 Propriété de Markov :
P{ X n1  j | X n  i, X n1  in1, ..., X 0  i0 }  P{ X n1  j | X n  i }

Hypothèse de stationnarité : P{ X n 1  j | X n  i }  Pij

Probabilités de transition entre états : Pij  0,


Matrice des probabilités de transition P=[Pij]
Probabilités initiales :  i 0 ,
m
 1
i
i0

P
j 0
ij
1
Représentation d’une chaîne de Markov
 Il faut définir:

L’espace des observations S={o1,...,om}
Alphabet définissant la valeur possible de chaque état observé de X(t)

La matrice des probabilités de transitions A={ai,j}

ai,j = P(oj|oi) : probabilité d’observer oj pour un état après avoir
observé oi pour l’état précédent


Le vecteur des probabilités initiales ={i}
 i=P(oi) : Probabilité d’observer oi à l’état initial
Exemple:
X(t) : Temps qu’il fait sur 3 jours
Représentation Graphique
S={‘ neige ’,‘ pluie ’, ’soleil ’}
 0.4 0.3 0.3 


 0.2 0.6 0.2 
 0.1 0.1 0.8 


A=
=
m
a
j 1
0.4
ij
{0.02 , 0.4, 0.58}
1

i 1
0.3
0.58
i
0.2
Neige
0.02
m
0.6
1
Pluie
0.3
0.1
0.2
Soleil
0.8
0.1
0.4
Probabilité d’une séquence d’états
Th. Bayes
P(on , on1 ,..., o1 )  P(on on1 ,..., o1 )  P(on1 ,..., o1 )
Propriété de
Markov
 P(on on1 )
 P(on 1 on 2 ,..., o1 )  P(on2 ,..., o1 )
 P(on on1 )
 P(on 1 on 2 )

P(o2 o1 ) P(o1 )
...
n
 P( o1 )   P( ot ot 1 )
t 2
Représentation Graphique
Application:
Quelle est la probabilité qu’il fasse ‘ Soleil ’,
5 jours de suite ?
P(Soleil, Soleil, Soleil, Soleil, Soleil)=
0.58*0.8*0.8*0.8*0.8 =0.2375
P(Neige, Neige, Pluie, Pluie, Soleil)=
0.02*0.4*0.3*0.6*0.2=0,000288
0.4
Neige
0.02
0.3
0.58
0.6
0.2
Pluie
0.3
0.1
0.2 0.1
Soleil
0.8
0.4
Et s’il y a plusieurs chemins ?
 Probabilité de faire une transition en n sauts
Pijn  P{X nm  j | X m  i},
n, m  0, i, j  0
 
n
n
n
Note : Pij est l’élément (i, j) de la matrice Pn ; Pij  P
ij
 Les équations de Chapman-Kolmogorov pemettent des « stopover »
n m
ij
P

  Pikn Pkjm ,
n, m  0, i, j  0
k 0
• Quelle est la probabilité qu’il fasse ‘ Soleil’ dans 2 jours sachant qu’il neige
aujourd’hui ?
0.4
0.3
N
0.3
N
P
S
P( X 3  S X 1  N ) 
0.3
0.2
0.8
P( S N )  P( N N )  P( S P)  P( P N )  P( S S )  P( S N )
S
 0.3 * 0.4  0.2 * 0.3  0.8 * 0.3  0.42
ou
 
P( X 3  S X 1  N )  P 2
NS
système d’évènements complet
 On y suit tous les chemins possibles sans se
soucier de l’etat de départ :
P( X t  j )   P( X t  j X t 1  i )  P( X t 1  i )
m
i 1
•
Quelle est la probabilité qu’il fasse ‘ Soleil ’ dans 3 jours ?
P( X (3)  S )  P( S N )  P( X (2)  N )  P( S P)  P( X (2)  P)  
P ( S S )  P ( X ( 2)  S )

P( X (3)  S )  0.3 * (0.4 * 0.02  0.2 * 0.4  0.1* 0.58)
0.2 * (0.3 * 0.02  0.6 * 0.4  0.1* 0.58)
0.8 * (0.3 * 0.02  0.2 * 0.4  0.8 * 0.58)  0.5446
0.4
N
0.3
0.3 P 0.2
N
0.3
S
0.8
S
Exemple
• Un programme informatique comprend 5 modules indépendants,
sp1, .., sp5, et un module de sortie sp6
De sp1 on peut :
aller à sp2 avec probabilité de ½
boucler avec probabilité de ½
De sp2 on peut :
aller à sp1 avec probabilité de ½
aller à sp4 avec probabilité de ½
De sp3 on peut :
aller à sp1 avec probabilité de ¼
aller à sp2 avec probabilité de ¼
aller à sp5 avec probabilité de ¼
à sp6 avec probabilité de ¼
De sp4 on va à sp3
De sp5, on boucle
De sp6, on boucle
0.50
1
2
0.50
0.50
0.25
0.25
4
3
6
1.00
0.25
0.25
5
• Partant de sp2, quelle probabilité d’y être à nouveau au
temps « 4 » ?
Première solution : graphique
Il existe 3 chemins pour aller de 2 à 2 en quatre temps :
24312 avec une proba : 0.50x1x0.25x0.50=1/16
21212 avec une proba : 0.50x0.50x0.50x0.50=1/16
21112 avc une proba : 0.50x0.50x0.50x0.50=1/16
Soit une proba de 3/16=0.187
0.50
1
2
0.50
0.50
0.25
0.25
4
3
6
1.00
0.25
0.25
5
Deuxième résolution : par matrice
Si on pose les probabilités pij sous forme de matrice P,
on a P( X  2 / X  2)  p 4
4
0
22
0.5
0
Matrice
initiale P
0,50 0,5 0
0
0
0
0,5
0 0 0,5
0
0
0,25 0,25 0
0 0,25 0,25
0
0 1
0
0
0
0
0 0
0
1
0
0
0 0
0
0
1
1
0.25
0.50
0.25
4
3
6
1.0
0
0.25
0.25
P4
2
0.5
0
0,375 0,25 0,125 0,125 0,0625 0,0625
0,3125 0,1875 0,125 0,125 0,125 0,125
0,1875 0,125 0,0625 0,0625 0,28125 0,28125
0,1875 0,125 0,125 0,0625
0,25
0,25
0
0
0
0
1
0
0
0
0
0
0
1
5
Distribution limite des états
 Probabilités des états en fonction du temps:
πnj  P{X n  j},

πn  (π0n , π1n ,...)

P{ X n  j}   P{ X n 1  i}P{ X n  j | X n 1  i}  π   πin 1Pij
n
j
i 0
i 0
• Sous forme matricielle:
π n  π n 1P  π n 2 P 2  ...  π 0 P n
 Si  n tend vers une valeur stationnaire  , on a :
π  lim π n
• et
n
π  πP
n
n 1
n 2 2
(En partant de π  π P ) π P  ...  π
L’existence de  dépend de la structure de la chaîne
 La distribution stationnaire existe et est indépendante de
l’état initial si la chaîne est irréductible et apériodique
Irréductible :
• Deux états i et j communiquent si :
n, m : Pijn  0, Pjim  0
•
La chaîne est irréductible si tous les
états communiquent
1
Apériodique :
• Une chaîne est apériodique si
aucun état n’est périodique
• Un état i est périodique si :
 d  1: Piin  0  n   d
2
1
2
0
0
3
4
3
4
Détermination de la distribution stationnaire
A. Nombre d’états fini
Deux possibilités :
•
Résoudre le système d’équations :
m
π j   πi Pij ,
j  0,1,..., m
i 0
m
π
i 0
•
i
1
B. Nombre d’états infini
• Méthodes précédentes non
applicables
• On doit deviner la solution, ou la
trouver par itération:

Dériver  de lim P , sachant que
n
n
 j  PX n  j|X 0 i P
n
ij
et donc que Pn converge vers une
matrice dont les lignes valent 
Valable pour un petit nombre
d’états
π j   πi Pij ,
i 0

π
i 0
i
1
j  0,1,...,
Exemple
•
 Une professeure possède
deux parapluies. S’il pleut
et l’un d’eux est disponible,
elle le prend; sinon, elle
sort sans parapluie.
Si p est la probabilité qu’il
pleuve à chaque fois qu’elle
se déplace, quelle est la
probabilité qu’elle prenne
une douche involontaire
alors?
Modèle markovien
Avec i le nombre de parapluies
disponibles à l’endroit présent, on
obtient le diagramme de transition

p
1
i=0
2
1 p
1
1 p
p
La mMatrice des probabilités de
transitions entre états

0
 0
P 0
1 p

p
1  p
Se mouiller
P{gets
wet}  π0 p  p
1 p
3 p
1
p

0 
Ex.: chaîne Markov avec un nombre fini d’états
p
1
0
2
1 p
1
1 p
p
0
 0
P 0
1 p

p
1  p
1
p

0 
 π 0  (1  p)π 2
 π  (1  p)π  pπ
 π  πP
1 p
1
1
 1
1
2


π

,
π

,
π



0
1
2
π

1
π

π

p
π
3

p
3

p
3 p

i
0
1
 i
 2
 π 0  π1  π 2  1
1 p
P{gets wet}  π0 p  p
3 p
Se mouiller
Ex.: chaîne Markov avec un nombre fini d’états

Si on prend p = 0.1:
 1 p 1
1 
π
,
,
  0.310, 0.345, 0.345

 3 p 3 p 3 p 
0
1
 0
P   0 0.9 0.1


0.9 0.1 0 

Se mouiller
P{gets
wet}  π0 p  p
1 p
3 p
n
On peut aussi calculer  en évaluant lim P numériquement
0.310 0.345 0.345
lim P n  0.310 0.345 0.345


n 
0.310 0.345 0.345

n
(n  150)
L’efficacité du calcul dépend de la structure de P
Exemple montrant l’indépendance de  des
états initiaux
0.6
0.4
1
À l’équilibre, on a :
=[1/4 1/2 1/4]
0.4
2
π b0  [0,1,0]
π 0c  [0,0,1]
0.6
3
0.4
Ainsi, si on part de trois états différents :
π 0a  [1,0,0]
0.6
0.4
0,6 0,4
0
0,2 0,6 0,2
0 0,4 0,6
On obtient par simulation :
π1
0.6
0.4
π 20
0.0
0.25
0.25
0.25
0.2
0.6
0.50
0.25
0.50
0.50
0.25
0.25
0.2
0.0
0.4
0.6
Autres processus markoviens
 Chaînes de Markov généralisées (ou Semi-Markov) :

Le prochain état dépend de l’état présent, plus la durée de temps
passée dans ce dernier.
 Chaînes de Markov à temps continu :

Cas spécial des processus semi-markoviens.
 Champs de Markov

Modèle de Markov s’appliquant à une distribution spatiale de
variables aléatoires
 Chaînes de Markov cachées :

Elles sont accessibles uniquement à travers des observations
indirectes