Chaînes de Markov à temps discret

L’état futur ne dépend que de l’état présent et est indépendant des états passés.
Une CMTD est homogène si p_ij (m,k) = P(X_k-l = j / X _m-l = i ), quelque soient l = 0,1 , …, m.
Dans ce cas, p_ij(m,k) ne dépend que de i, j et (k-m).
On pose alors p_ij(n) = P(X_m+n = j / X _m = i ), quelque soit m. C’est la probabilité de transition à n étapes.

Le produit de deux matrices stochastiques est une matrice stochastique (m_ij>=0 et Somme sur j (m_ij)=1).

P(n) = Pⁿ et p(n) = p(0)Pⁿ.