Processo markoviano

Un processo stocastico markoviano o processo di Markov è un processo stocastico nel quale la probabilità di transizione che determina il passaggio ad uno stato di sistema dipende unicamente dallo stato di sistema immediatamente precedente e non dal come si è giunti a tale stato (in quest'ultima ipotesi si parla di processo non markoviano).
Modelli di tipo markoviano vengono anche utilizzati nel progetto di reti di telecomunicazioni; la teoria delle code che ne consegue trova applicazione in molti ambiti: dalla fila alle poste ai pacchetti in coda in un router.

Formalmente questo può essere scritto come

${\displaystyle P(X(t_{n+1})\leq x_{n+1}|X(t_{n})=x_{n},X(t_{n-1})=x_{n-1},\ldots ,X(t_{0})=x_{0})=P(X(t_{n+1})\leq x_{n+1}|X(t_{n})=x_{n}).\,}$

Questa è detta proprietà di Markov, o condizione di "assenza di memoria".

Catene di Markov

Una catena di Markov è un processo di Markov a stati discreti, ovvero è un processo stocastico discreto per cui ad ogni istante t estraiamo dal processo una variabile casuale discreta.
Formalmente questo può essere scritto come

${\displaystyle P(X(t_{n+1})=x_{n+1}|X(t_{n})=x_{n},X(t_{n-1})=x_{n-1},\ldots ,X(t_{0})=x_{0})=P(X(t_{n+1})=x_{n+1}|X(t_{n})=x_{n}).\,}$ 

Nel caso di catena di Markov a tempo discreto si può assumere la notazione più semplice

${\displaystyle P(X_{n+1}=x_{n+1}|X_{n},X_{n-1},\ldots ,X_{0})=P(X_{n+1}=x_{n+1}|X_{n}).\,}$ 

Catene omogenee di Markov

Una catena omogenea di Markov è un processo markoviano nel quale la probabilità di transizione dipende unicamente dallo stato del sistema immediatamente precedente e non anche dal tempo t (o dal passo n se tempo discreto), ed è pertanto detto omogeneo.
Per le catene omogenee vale la condizione

${\displaystyle P(X_{n+1}=x|X_{n}=y)=\Pr(X_{n}=x|X_{n-1}=y)\,}$ 

Più in generale si dimostra che in una catena di Markov omogenea si ha che la probabilità di passare da uno stato ad un altro in t passi è costante nel tempo

${\displaystyle P(X_{n+t}=x|X_{n}=y)=\Pr(X_{n-1+t}=x|X_{n-1}=y)\,}$ 

Catene di Markov ergodiche

Una catena di Markov si definisce ergodica se e solo se per ogni istante iniziale ${\displaystyle t_{0}}$  e per ogni condizione iniziale di probabilità ${\displaystyle p(t_{0})}$  esiste ed è indipendente da ${\displaystyle t_{0}}$  e da ${\displaystyle p(t_{0})}$ , il limite della probabilità per tempi infiniti

${\displaystyle P=\lim _{t\to \infty }p(t)}$ 

Voci correlate

• Statistica
• Processo stocastico
• Variabile casuale
• Andrej Andreevič Markov (1856)
• Modello nascosto di Markov
• N-gramma

  Portale Matematica: accedi alle voci di Wikipedia che trattano di matematica