Markov keten
Ordes
Stationaire verdeling
Matrix
Max. likelihood
Voorbeelden van stochastische processen:
DNA sequentie van 11 Het hartritme van een
Hersenactiviteit van een
basen lang. Op elke basen patiënt. Meerdere
De intensiteit van de zon. mens onder
is een positie A, C, G of T. metingen achter elkaar
X-as: dagen en y-as: experimentele
Je kijkt nu naar de ordening (real time) gemeten in
intensiteit. 1 meting per condities. Continu
en niet naar de tijd. het tijdsinterval [0, T].
dag. gemeten tijdens het
➔ Xt: discreet. ➔ Xt: discreet.
➔ Xt: continue. tijdsinterval [0, T].
➔ Tijd: discreet. ➔ Tijd: continue.
➔ Tijd: discreet. ➔ Xt: continue.
➔ Tijd: continue.
Toestandsruimte(S)/ state space: de uitkomstruimte van de random variabele, dus een collectie van waarde die de
stochastische variabele kan nemen.
• Als S = {E1, E2, … Es}, dan is Xt een discrete variabele.
• Als S = [0, ∞), dan is Xt een continue variabele.
Tijd kan zowel discreet als continue zijn.
First passage time: het tijdstip waarop voor het eerst geldt Xt = Ei.
Absorbing state: een staat Ei waarvoor geldt: als Xt = Ei, dan Xs = Ei voor alle s > t. Het proces zal dus nooit meer een
andere waarde dan Ei aannemen.
Time of absorption: de first passage time van een absorbing state. In dit voorbeeld is de absorbing state -3, want daar
blijft hij. Time of absorption is 17.
Stochastisch proces: een collectie tijdpunten waarvan je de
toestandstuimte hebt. De verdeling van deze punten kan op 2
manieren:
1. Poisson process: alle variabelen zijn identiek en onafhankelijk
verdeeld zijn. Voorbeelden: wachtrijden, call centers.
2. Markov process: de variabelen zijn afhankelijk in een simpele
manier. Het heeft alleen discrete punten (d.w.z. je kan het tellen).
Een eerste orde Markov proces in een discrete tijd is een stochastisch proces {Xt}t=1,2,… waarvoor geldt:
Samenvatting Pagina 1
,Dus alleen het heden bepaald de toekomst, het verleden is niet relevant. Denk aan
het voorbeeld van het weer, of het gister regende is niet relevant.
Maar let op.. het impliceert niet dat er onafhankelijkheid is van Xt-1 en Xt+1.
En ook niet dat
0de orde: 1e orde:
Dus Xt en Xt+1 zijn onafhankelijk dus ook Xt-1 en Xt+1 en ook
Xt en Xt+100. Een voorbeeld is kop of munt gooien. Wat je nu
gooit heeft geen invloed op dat wat je later gooit. Hetzelfde
met een dobbelsteen. De formule hierbij is:
De 1e orde heeft dus iets
meer structuur. Wat er nu
gebeurt heeft invloed op wat
er straks gebeurt.
Stel m = 9, dan moet je 9 punten kijken voor het punt waar je nu bent (dat is t+1).
Overgangskansen/ transitiekansen: beschrijven hoe je van de ene toestand in de andere komt. Dit geef
je aan met P.
Tijdshomogeniteit: de transitiekansen zijn onafhankelijk van het punt waar je nu bent.
In een toestandsdiagram geef je aan welke stappen er allemaal mogelijk zijn binnen een proces:
Je kan dit ook in een transitie matrix zetten:
Rekenregels matrix:
• 0<P<1
• Een rij van de matrix sommeert tot 1
Welk toestandsdiagram hoort bij deze matrix?
Antwoord: nummer 2.
Startverdeling/ initial distribution: geeft kansen aan om in de 1e toestand te belanden en in de 2e,
etc. Hiervoor geldt:
Rekenregel: conditionele kans
Samenvatting Pagina 2
, Vraag:
De | betekent 'gegeven' of 'geconditioneerd op'. Als je in een rekensom hebt staan: P(X2|X1,X-2) dan is dit hetzelfde als
P(X2|X1). De X-2 is langer geleden gebeurt dan X1, dus dat is niet belangrijk als je daar op conditioneert. Die kan je dan
weg laten.
Deze vergelijking gebruik je als je een tijdsstap mist in de opdracht. Je voegt dan
een ∑ toe met alle mogelijkheden die de missende tijdsstap zou kunnen
aannemen.
Je gebruikt dit wanneer je een lange afstand moet overbruggen. Je mag dan ergens
pauze nemen, maar moet wel alle overgeslagen stappen in acht nemen.
Voorbeeld:
Vraag: zie de matrix:
Antwoord: C.
Als je kijkt naar de matrix staat links boven een 0, dit betekent dat je
niet van een 1 naar een 1 kan. Rechts boven staat een 1, dit
betekent dat je wel van een 1 naar een 2 kan. Etc.
Vraag: zie je matrix:
Antwoord: A.
Je wilt nu de kans van 1 naar 2 weten. In de matrix staat links boven
een 0 en rechts boven een 1, dit betekent dat wanneer je in een 1
zit, dat je naar 2 moet. En daarna als je in een 2 zit, dan moet je naar
een 1. Over 2 tijdsstappen kan je nooit van een 1 naar een 2.
Samenvatting Pagina 3
Ordes
Stationaire verdeling
Matrix
Max. likelihood
Voorbeelden van stochastische processen:
DNA sequentie van 11 Het hartritme van een
Hersenactiviteit van een
basen lang. Op elke basen patiënt. Meerdere
De intensiteit van de zon. mens onder
is een positie A, C, G of T. metingen achter elkaar
X-as: dagen en y-as: experimentele
Je kijkt nu naar de ordening (real time) gemeten in
intensiteit. 1 meting per condities. Continu
en niet naar de tijd. het tijdsinterval [0, T].
dag. gemeten tijdens het
➔ Xt: discreet. ➔ Xt: discreet.
➔ Xt: continue. tijdsinterval [0, T].
➔ Tijd: discreet. ➔ Tijd: continue.
➔ Tijd: discreet. ➔ Xt: continue.
➔ Tijd: continue.
Toestandsruimte(S)/ state space: de uitkomstruimte van de random variabele, dus een collectie van waarde die de
stochastische variabele kan nemen.
• Als S = {E1, E2, … Es}, dan is Xt een discrete variabele.
• Als S = [0, ∞), dan is Xt een continue variabele.
Tijd kan zowel discreet als continue zijn.
First passage time: het tijdstip waarop voor het eerst geldt Xt = Ei.
Absorbing state: een staat Ei waarvoor geldt: als Xt = Ei, dan Xs = Ei voor alle s > t. Het proces zal dus nooit meer een
andere waarde dan Ei aannemen.
Time of absorption: de first passage time van een absorbing state. In dit voorbeeld is de absorbing state -3, want daar
blijft hij. Time of absorption is 17.
Stochastisch proces: een collectie tijdpunten waarvan je de
toestandstuimte hebt. De verdeling van deze punten kan op 2
manieren:
1. Poisson process: alle variabelen zijn identiek en onafhankelijk
verdeeld zijn. Voorbeelden: wachtrijden, call centers.
2. Markov process: de variabelen zijn afhankelijk in een simpele
manier. Het heeft alleen discrete punten (d.w.z. je kan het tellen).
Een eerste orde Markov proces in een discrete tijd is een stochastisch proces {Xt}t=1,2,… waarvoor geldt:
Samenvatting Pagina 1
,Dus alleen het heden bepaald de toekomst, het verleden is niet relevant. Denk aan
het voorbeeld van het weer, of het gister regende is niet relevant.
Maar let op.. het impliceert niet dat er onafhankelijkheid is van Xt-1 en Xt+1.
En ook niet dat
0de orde: 1e orde:
Dus Xt en Xt+1 zijn onafhankelijk dus ook Xt-1 en Xt+1 en ook
Xt en Xt+100. Een voorbeeld is kop of munt gooien. Wat je nu
gooit heeft geen invloed op dat wat je later gooit. Hetzelfde
met een dobbelsteen. De formule hierbij is:
De 1e orde heeft dus iets
meer structuur. Wat er nu
gebeurt heeft invloed op wat
er straks gebeurt.
Stel m = 9, dan moet je 9 punten kijken voor het punt waar je nu bent (dat is t+1).
Overgangskansen/ transitiekansen: beschrijven hoe je van de ene toestand in de andere komt. Dit geef
je aan met P.
Tijdshomogeniteit: de transitiekansen zijn onafhankelijk van het punt waar je nu bent.
In een toestandsdiagram geef je aan welke stappen er allemaal mogelijk zijn binnen een proces:
Je kan dit ook in een transitie matrix zetten:
Rekenregels matrix:
• 0<P<1
• Een rij van de matrix sommeert tot 1
Welk toestandsdiagram hoort bij deze matrix?
Antwoord: nummer 2.
Startverdeling/ initial distribution: geeft kansen aan om in de 1e toestand te belanden en in de 2e,
etc. Hiervoor geldt:
Rekenregel: conditionele kans
Samenvatting Pagina 2
, Vraag:
De | betekent 'gegeven' of 'geconditioneerd op'. Als je in een rekensom hebt staan: P(X2|X1,X-2) dan is dit hetzelfde als
P(X2|X1). De X-2 is langer geleden gebeurt dan X1, dus dat is niet belangrijk als je daar op conditioneert. Die kan je dan
weg laten.
Deze vergelijking gebruik je als je een tijdsstap mist in de opdracht. Je voegt dan
een ∑ toe met alle mogelijkheden die de missende tijdsstap zou kunnen
aannemen.
Je gebruikt dit wanneer je een lange afstand moet overbruggen. Je mag dan ergens
pauze nemen, maar moet wel alle overgeslagen stappen in acht nemen.
Voorbeeld:
Vraag: zie de matrix:
Antwoord: C.
Als je kijkt naar de matrix staat links boven een 0, dit betekent dat je
niet van een 1 naar een 1 kan. Rechts boven staat een 1, dit
betekent dat je wel van een 1 naar een 2 kan. Etc.
Vraag: zie je matrix:
Antwoord: A.
Je wilt nu de kans van 1 naar 2 weten. In de matrix staat links boven
een 0 en rechts boven een 1, dit betekent dat wanneer je in een 1
zit, dat je naar 2 moet. En daarna als je in een 2 zit, dan moet je naar
een 1. Over 2 tijdsstappen kan je nooit van een 1 naar een 2.
Samenvatting Pagina 3
