Algoritmo EM

In statistica, un algoritmo expectation–maximization (EM)^[1] è un metodo iterativo per trovare stime (locali) di massima verosimiglianza (o le stime maximum a posteriori) di parametri di modelli statistici, in cui il modello dipende da variabili latenti (non osservate). L' iterazione di EM alterna l'esecuzione di un passo expectation (E), che crea una funzione per il valore atteso della log-likelihood calcolata usando la stima dei parametri corrente, e un passo maximization (M), che calcola i parametri massimizzando la funzione di log-likelihood attesa trovata al passo E. Tali stime di parametri possono poi essere usate per determinare la distribuzione delle variabili latenti al prossimo passo E step.

Descrizione

Dato il modello statistico che genera un insieme ${\displaystyle \mathbf {X} }$  di dati osservati, un insieme di dati latenti non osservati o dati mancanti ${\displaystyle \mathbf {Z} }$  e un vettore di parametri incogniti ${\displaystyle {\boldsymbol {\theta }}}$  assieme a una funzione di verosimiglianza ${\displaystyle L({\boldsymbol {\theta }};\mathbf {X} ,\mathbf {Z} )=p(\mathbf {X} ,\mathbf {Z} \mid {\boldsymbol {\theta }})}$ , la stima di massima verosimiglianza (MLE) dei parametri sconosciuti viene determinata massimizzando la likelihood marginale dei dati osservati

${\displaystyle L({\boldsymbol {\theta }};\mathbf {X} )=p(\mathbf {X} \mid {\boldsymbol {\theta }})=\int p(\mathbf {X} ,\mathbf {Z} \mid {\boldsymbol {\theta }})\,d\mathbf {Z} =\int p(\mathbf {X} \mid \mathbf {Z} ,{\boldsymbol {\theta }})p(\mathbf {Z} \mid {\boldsymbol {\theta }})\,d\mathbf {Z} }$ 

Tuttavia questa quantità è spesso intrattabile dato che ${\displaystyle \mathbf {Z} }$  non è osservato e la distribuzione di ${\displaystyle \mathbf {Z} }$  è sconosciuta prima di determinare ${\displaystyle {\boldsymbol {\theta }}}$ .

L'algoritmo EM cerca di trovare la MLE della likelihood marginale eseguendo iterativamente questi passi:

Expectation step (E step): Definire ${\displaystyle Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})}$  come il valore atteso della funzione di log-likelihood per ${\displaystyle {\boldsymbol {\theta }}}$ , rispetto alla distribuzione di probabilità condizionata corrente di ${\displaystyle \mathbf {Z} }$  dati ${\displaystyle \mathbf {X} }$  e le stime correnti dei parametri ${\displaystyle {\boldsymbol {\theta }}^{(t)}}$ :

${\displaystyle Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})=\operatorname {E} _{\mathbf {Z} \mid \mathbf {X} ,{\boldsymbol {\theta }}^{(t)}}\left[\log L({\boldsymbol {\theta }};\mathbf {X} ,\mathbf {Z} )\right]\,}$ 

Maximization step (M step): Trovare i parametri che massimizzino questa quantità:

${\displaystyle {\boldsymbol {\theta }}^{(t+1)}={\underset {\boldsymbol {\theta }}{\operatorname {arg\,max} }}\ Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})\,}$ 

Note

1. ^ A. P. Dempster, N. M. Laird e D. B. Rubin, Maximum Likelihood from Incomplete Data Via theEMAlgorithm, in Journal of the Royal Statistical Society: Series B (Methodological), vol. 39, n. 1, 1977-09, pp. 1–22, DOI:10.1111/j.2517-6161.1977.tb01600.x. URL consultato il 20 marzo 2022.

  Portale Statistica: accedi alle voci di Wikipedia che trattano di statistica

Categoria:Statistica