Algoritmo EM: differenze tra le versioni

Versione delle 20:40, 20 mar 2022

Versione attuale delle 21:12, 17 apr 2025

(9 versioni intermedie di 8 utenti non mostrate)

Riga 1:

In [[statistica]], un '''algoritmo''' '''expectation–maximizationdi aspettazione-massimizzazione''' (o '''algoritmo EM''' ({{Inglese|expectation-maximization}})<ref>{{Cita pubblicazione|nome=A. P.|cognome=Dempster|nome2=N. M.|cognome2=Laird|nome3=D. B.|cognome3=Rubin|data=1977-09|titolo=Maximum Likelihood from Incomplete Data Via theEMAlgorithmthe EM Algorithm|rivista=Journal of the Royal Statistical Society: Series B (Methodological)|volume=39|numero=1|pp=1–221-22|accesso=2022-03-20|doi=10.1111/j.2517-6161.1977.tb01600.x|url=http://dx.doi.org/10.1111/j.2517-6161.1977.tb01600.x}}</ref><ref>{{Cita pubblicazione|nome=Richard A.|cognome=Redner|nome2=Homer F.|cognome2=Walker|data=1984-04|titolo=Mixture Densities, Maximum Likelihood and the EM Algorithm|rivista=SIAM Review|volume=26|numero=2|pp=195-239|accesso=2022-03-21|doi=10.1137/1026034|url=http://dx.doi.org/10.1137/1026034}}</ref> è un [[metodo iterativo]] per trovare [[Stima|stime]] (locali) di [[Metodo della massima verosimiglianza|massima verosimiglianza]] (o le stime [[maximumStima del massimo a posteriori|stime del massimo a posteriori]]) didei [[Parametro (statistica)|parametri]] di modelli statistici, inche cui il modello dipendedipendono da [[Variabile casuale|variabili latenti]] (non osservate). L' iterazione di EM alterna l'esecuzione di un passo ''expectation'' (E), che crea una funzione per il valore atteso della ''log-likelihood'' calcolata usando la stima dei parametri corrente, e un passo ''maximization'' (M), che calcola i parametri massimizzando la funzione di log-likelihood attesa trovata al passo ''E''. Tali stime di parametri possono poi essere usate per determinare la distribuzione delle variabili latenti al prossimo passo E step.

L'iterazione dell'algoritmo EM alterna l'esecuzione di un passo detto aspettazione (E), che crea una funzione per il [[valore atteso]] della verosimiglianza logaritmica calcolata usando la stima dei parametri corrente, e un passo detto massimizzazione (M), che calcola nuove stime dei parametri massimizzando la [[Funzione di verosimiglianza|funzione di verosimiglianza logaritmica]] attesa trovata al passo ''E''. Tali stime dei parametri possono poi essere usate per determinare la distribuzione delle variabili latenti al passo E dell'iterata successiva.

== Descrizione ==

Dato il modello statistico che genera un insieme <math>\mathbf{X}</math> di dati osservati, un insieme <math>\mathbf{Z}</math> di dati latenti non osservati o dati mancanti <math>\mathbf{Z}</math>, e un vettore di parametri incogniti <math>\boldsymbol\theta</math> assieme a una funzione di verosimiglianza <math>L(\boldsymbol\theta; \mathbf{X}, \mathbf{Z}) = p(\mathbf{X}, \mathbf{Z}\mid\boldsymbol\theta)</math>, la stima[[Metodo didella massima verosimiglianza|stima di (MLE)massima verosimiglianza]] dei parametri sconosciuti viene determinata massimizzando la likelihoodverosimiglianza marginale dei dati osservati

:<math>L(\boldsymbol\theta; \mathbf{X}) = p(\mathbf{X}\mid\boldsymbol\theta) = \int p(\mathbf{X},\mathbf{Z} \mid \boldsymbol\theta) \, d\mathbf{Z} = \int p(\mathbf{X} \mid \mathbf{Z}, \boldsymbol\theta) p(\mathbf{Z} \mid \boldsymbol\theta) \, d\mathbf{Z} </math>

Tuttavia determinare questa quantità è spesso intrattabileimpossibile dato che <math>\mathbf{Z}</math> non è osservato e la sua distribuzione di <math>\mathbf{Z}</math> è sconosciuta prima di determinare <math>\boldsymbol\theta</math>.

L'algoritmo EM cerca di trovare la MLEstima della likelihoodmassima verosimiglianza marginale eseguendo iterativamente questi passi:

:* ''Expectation step (E step)Aspettazione'': Definire <math>Q(\boldsymbol\theta\mid\boldsymbol\theta^{(t)})</math> come il valore atteso della funzione di log-likelihoodverosimiglianza logaritmica per <math>\boldsymbol\theta</math>, rispetto alla distribuzione di [[probabilità condizionata]] corrente di <math>\mathbf{Z}</math> dati <math>\mathbf{X}</math> e le stime correnti dei parametri <math>\boldsymbol\theta^{(t)}</math>:

::<math>Q(\boldsymbol\theta\mid\boldsymbol\theta^{(t)}) = \operatorname{E}_{\mathbf{Z}\mid\mathbf{X},\boldsymbol\theta^{(t)}}\left[ \log L (\boldsymbol\theta; \mathbf{X},\mathbf{Z}) \right] \,</math>

:* ''Maximization step (M step)Massimizzazione'': Trovare i parametri che massimizzino questa quantità:

:''Maximization step (M step)'': Trovare i parametri che massimizzino questa quantità:

::<math>\boldsymbol\theta^{(t+1)} = \underset{\boldsymbol\theta}{\operatorname{arg\,max}} \ Q(\boldsymbol\theta\mid\boldsymbol\theta^{(t)}) \, </math>

Tipici modelli cui si applica EM indicanodesignano con <math>\mathbf{Z}</math> la variabile latente che indica l'appartenenza a un gruppo in un insieme di gruppi:

I punti osservati <math>\mathbf{X}</math> possono essere discreti o continui a seconda che assumano valori da un dominio [[Insieme finito|finito]] (o [[Insieme infinito|infinito]] [[Insieme numerabile|numerabile]]) o infinito non numerabile. Si può associare a ogni punto un vettore di osservazioni.

I valori mancanti (e quindi le variabili latenti <math>\mathbf{Z}</math>) sono discreti, tratti da un numero prefissato di valori e con una variabile latente per ogni unità osservata.

I parametri sono continui e di due tipi: parametri associati a tutti i punti e parametri associati cona uno specifico valore di una variabile latente (ossia associati a tutti i punti con quel valore per la corrispondente variabile latente).

I punti osservati <math>\mathbf{X}</math> possono essere discreti o continui a seconda che assumano valori da un dominio finito (o infinito numerabile) o infinito non numerabile. Si può associare a ogni punto un vettore di osservazioni.

I valori mancanti (e quindi le variabili latenti <math>\mathbf{Z}</math>) sono discreti, tratti da un numero prefissato di valori e con una variabile latente per ogni unità osservata.

I parametri sono continui e di due tipi: parametri associati a tutti i punti e parametri associati con uno specifico valore di una variabile latente (ossia associati a tutti i punti con quel valore per la corrispondente variabile latente).

== Note ==

<references/>

{{Apprendimento automatico}}

{{Portale|statistica}}

[[Categoria:statisticaStatistica multivariata]]

[[Categoria:Apprendimento automatico]]