Solution Manual for Stochastic Processes With R An Introduction 1st edition by Olga Korosteleva

ALL9 CHAPTER COVERED
i i i




SOLUTIONS MANUALi

, TABLEOFCONTENTS
i i




CHAPTER 1 ……………………………………………………………………………………. 3
i i i




CHAPTER 2 ……………………………………………………………………………………. 31
i i i




CHAPTER 3 ……………………………………………………………………………………. 41
i i i




CHAPTER 4 ……………………………………………………………………………………. 48
i i i




CHAPTER 5 ……………………………………………………………………………………. 60
i i i




CHAPTER 6 ……………………………………………………………………………………. 67
i i i




CHAPTER 7 ……………………………………………………………………………………. 74
i i i




CHAPTER 8 ……………………………………………………………………………………. 81
i i i




CHAPTER 9 ……………………………………………………………………………………. 87
i i i




2

, CHAPTER 1 i




0.3 0.4 0.3 i i i i




EXERCISE1.1. ForaMarkovchainwithaone-steptransitionprobabilitymatrix�0.2 0.3 0.5� i i i i i i i i i i i i i i i i i i




0.8 0.1 0.1 i i i i



wecompute: i




(a) 𝑃𝑃(𝑋𝑋3 =2|𝑋𝑋0 =1,𝑋𝑋1 =2, 𝑋𝑋2 =3)=𝑃𝑃(𝑋𝑋3 =2|𝑋𝑋2 =3)
i
i
i i
i
i i
i
i i
i
i i i
i
i i i
i
i (by the Markov property)
i i i




= 𝑃𝑃32 = 0.1. i
i
i




(b)𝑃𝑃(𝑋𝑋4 =3|𝑋𝑋0 =2, 𝑋𝑋3 =1)=𝑃𝑃(𝑋𝑋4 =3|𝑋𝑋3 =1)
i
i
i i
i
i i
i
i i i
i
i i i
i
i (by the Markov property)i i i




= 𝑃𝑃13 = 0.3. i
i
i




(c) 𝑃𝑃(𝑋𝑋0 = 1,𝑋𝑋1 = 2,𝑋𝑋2 = 3,𝑋𝑋3 = 1) = 𝑃𝑃(𝑋𝑋3 = 1 | 𝑋𝑋0 = 1,𝑋𝑋1 = 2,𝑋𝑋2 = 3)𝑃𝑃(𝑋𝑋2 = 3|𝑋𝑋0 = 1,
i
i
i i
i
i i
i
i i
i
i i i
i
i i i
i
i i
i
i i
i
i i
i
i i
i
i




𝑋𝑋1 = 2)𝑃𝑃(𝑋𝑋1 = 2|𝑋𝑋0 = 1)𝑃𝑃(𝑋𝑋0 = 1) (byconditioning)
i
i i
i
i i i
i
i i
i
i i i




= 𝑃𝑃(𝑋𝑋3 = 1 | 𝑋𝑋2 = 3) 𝑃𝑃(𝑋𝑋2 = 3 | 𝑋𝑋1 = 2) 𝑃𝑃(𝑋𝑋1 = 2 | 𝑋𝑋0 = 1) 𝑃𝑃(𝑋𝑋0 = 1) (by the Markov property)
i
i
i i i
i
i i
i
i i i
i
i i
i
i i i
i
i i
i i
i i i i i




=𝑃𝑃31 𝑃𝑃23 𝑃𝑃12 𝑃𝑃(𝑋𝑋0 =1)=(0.8)(0.5)(0.4)(1)=0.16.
i
i i i i
i i i i i




(d) We first compute the two-step transition probability matrix. We obtain
i i i i i i i i i i




0.3 0.4 0.3 i i i i 0.3 0.4 0.3 i i i i 0.41 0.27 0.32
𝐏𝐏(2) =�0.2 0.3 0.5��0.2 0.3 0.5� =� i

i i i i i i i i i i i i 0.52 0.22 0.26�.
Nowwewrite i i 0.8 0.1 0.1 i i i i 0.8 0.1 0.1 i i i i 0.34 0.36 0.30
𝑃𝑃(𝑋𝑋0 = 1,𝑋𝑋1 = 2,𝑋𝑋3 = 3,𝑋𝑋5 = 1) = 𝑃𝑃(𝑋𝑋5 = 1|𝑋𝑋0 = 1,𝑋𝑋1 = 2,𝑋𝑋3 = 3)𝑃𝑃(𝑋𝑋3 = 3|𝑋𝑋0 = 1,
i
i i
i
i i
i
i i
i
i i i
i
i i i
i
i i
i
i i
i
i i
i
i i
i
i




𝑋𝑋1 = 2)𝑃𝑃(𝑋𝑋1 = 2|𝑋𝑋0 = 1)𝑃𝑃(𝑋𝑋0 = 1) (byconditioning)
i
i i
i
i i i
i
i i
i
i i i




= 𝑃𝑃(𝑋𝑋5 = 1 | 𝑋𝑋3 = 3) 𝑃𝑃(𝑋𝑋3 = 3 | 𝑋𝑋1 = 2) 𝑃𝑃(𝑋𝑋1 = 2 | 𝑋𝑋0 = 1) 𝑃𝑃(𝑋𝑋0 = 1) (by the Markov property)
(0.34)(0.26)(0.4)(1) = 0.03536.
𝑃𝑃 𝑃𝑃(𝑋𝑋 = 1) =
i i i i i i i i i i i i i i i i i i i i i


(2) (2)
i i i i i i i i

ii i i i i i




= 𝑃𝑃31 i
𝑃𝑃23 12 0

EXERCISE 1.2. (a) We plot a diagram of the Markov chain. i i i i i i i i i i i




#specifying transition probability matrix i i i




tm<- matrix(c(1, 0, 0, 0, 0, 0.5, 0, 0, 0, 0.5, 0.2, 0, 0, 0, 0.8,
i i i i i i i i i i i i i i i




0, 0, 1, 0, 0, 0, 0, 0, 1, 0), nrow=5, ncol=5, byrow=TRUE)
i i i i i i i i i i i i




#transposing transition probability matrix tm.tr<- i i i i




t(tm)
i




#plotting diagram library(diagram) i i




plotmat(tm.tr, arr.length=0.25, arr.width=0.1, box.col="light blue", box.lwd=1, i i i i i




box.prop=0.5, box.size=0.12, box.type="circle", cex.txt=0.8, lwd=1,
i i i i i




self.cex=0.3,self.shiftx=0.01, self.shifty=0.09)
i i i




3