Chaînes de Markov à temps continu

• Les indices i, j appartiennent à E fini ou indéfini dénombrable.
• Les paramètres x, t, u appartiennent à T = [0..+infini[ non dénombrable.

Le Processus Stochastique {X(t)} est markovien s’il est sans mémoire. Il est caractériser par p(0) (souvent donné) et {p_ij(v,t)}. Il est homogène si p_ij(v,t) ne dépend que de t-v. On peut alors écrire p_ij(t) = p_ij(u , t+u).

On pose H(y) = ( p_ij(y) ), alors on a la relation H(u+v) = H(u) + H(v). Pour être markovienne, les fonctions de probabilité de transition p_ij(u) du processus doivent être solution de cette équation. Cette solution vérifie S _j p_ij(u) = 1. Seulement, on peut encore avoir des processus markoviens très irréguliers. On impose donc lim H(u) = I quand u -> 0.

On pose A = H’(0). A est le générateur infinitésimal de CMTC. On a les relations H’(x) = A.H(x) = H(x).A et H(t) = e^At (et donc p(t) = p(0) e^At et p’(t)=p(t)A) .

En continu, il n’y a pas la notion de périodicité. Un état est absorbant si a_ij=0. Une CMTC est dite irréductible si tous les états sont mutuellement accessibles. dans ce cas, cela implique qu’il existe un régime asymptotique et, P A = 0 et S _j P _j=1. Si une solution existe, elle est unique et les états de la chaîne sont récurrents non nuls. S’il n’y a pas de solution, les états sont soit récurrents nuls soit transitoires (chaînes infinies).

Théorème de Coupe : Soit { A,B } une partition de E alors S _A P i S _B a_ij =S _B P i S _A a_ij.

Un processus de Naissance et de Mort est une CMTC où les transitions n’ont lieux qu’entre états voisins (i<>j, a_ij<>0 ó j = i –1 ou j = i +1).
Régime Asymptotique :

• PA=0 donne l (0)P₀ = µ(1) P₁ et (l (i) + µ(i)) P _i = l (i-1) P _i-1 + µ(i+1) P _i+1.
• Soit a_i=l (i) P_i - µ(i+1) P_i+1, alors a_i=0 et donc P_i= l (i-1) * P_i-1 / µ(i) = P_{k = 1 à i} (l (k-1) / µ(k) )P_0.
• S _j P_j = 1 nous permet maintenant d’écrire, P₀ = 1 / 1 + S_{i 1 à infinie} P_{k1 à i}(l (k-1) / µ(k)) si la série infinie S_{i 1 à infinie} P_{k1 à i}(l (k-1) / µ(k)) converge.
• En fait, la seule condition d’existence des probabilités stationnaires est la convergence de la série.

Un processus de poisson noté {N(t)} est une CMTC telle que E=N, A= lU – lI si U désigne une matrice sur diagonale. On l’utilise pour modéliser des occurrences d’événement. Si N(0) = 0, N(t) ~ P(lt) et représente le nombre d’occurrences réalisées sur ]0,t]. Alors, P(N(t)=j) =p_0j(t) = (lt)ⁱe^-lt / j !.

Le nombre d’état est infini dénombrable et tous les états sont transitoires, cela n’a donc pas de sens de s’intéresser aux limites asymptotiques car elles sont nulles quand t--> infini. Par contre, on peut noter que p’(t) = p(t)A.