状态区间1

状态区间2

状态区间3

状态区间4

一步转移概率

0

$\frac{1}{6}$

0

$\frac{5}{6}$

二步转移概率

$\frac{1}{5}$

$\frac{1}{5}$

0

$\frac{3}{5}$

三步转移概率

$\frac{2}{5}$

$\frac{1}{5}$

0

$\frac{2}{5}$

合计

0.6

0.567

0

1.834