Criterio informativo della devianza: differenze tra le versioni

Versione delle 21:31, 20 ott 2013

Versione attuale delle 04:40, 12 apr 2024

(8 versioni intermedie di 8 utenti non mostrate)

Riga 1:

Il '''criterio informativo della devianza''', DIC (''deviance information criterion''), è una generalizzazione di modellizzazione gerarchica del [[Test di verifica delle informazioni di Akaike|criterio informativo di Akaike]], (AIC, (''Akaike information criterion''), notoe anchedello comeSchwarz criterioCriterion di Schwarz(BIC). È particolarmente utile nei problemi di [[scelta di modello|scelta di modelli]] [[Inferenza bayesiana|bayesiani]] in cui le [[Probabilità a posteriori|distribuzioni a posteriori]] dei [[modello statistico|modelli]] è stata ottenuta mediante simulazione [[Catena_di_Markov_Monte_CarloCatena di Markov Monte Carlo|MCMC]]. Analogamente all'AIC e al BIC, il DIC è una approssimazione asintotica che migliora ampliando la dimensione del campione di dati. È valida solamente quando la distribuzione a posteriori è approssimativamente di tipo [[distribuzione normale multivariata|normale multivariata]].

{{O|statistica|aprile 2013}}

Il '''criterio informativo della devianza''', DIC (''deviance information criterion''), è una generalizzazione di modellizzazione gerarchica del [[Test di verifica delle informazioni di Akaike|criterio informativo di Akaike]], AIC (''Akaike information criterion''), noto anche come criterio di Schwarz. È particolarmente utile nei problemi di [[scelta di modello|scelta di modelli]] [[Inferenza bayesiana|bayesiani]] in cui le [[Probabilità a posteriori|distribuzioni a posteriori]] dei [[modello statistico|modelli]] è stata ottenuta mediante simulazione [[Catena_di_Markov_Monte_Carlo|MCMC]]. Analogamente all'AIC e al BIC, il DIC è una approssimazione asintotica che migliora ampliando la dimensione del campione di dati. È valida solamente quando la distribuzione a posteriori è approssimativamente di tipo [[distribuzione normale multivariata|normale multivariata]].

Definiamo la [[devianza (statistica matematica)|devianza]] come <math> D(\theta)=-2 \log(p(y|\theta))+C\, </math>, dove <math>y\,</math> rappresenta i dati, <math>\theta\,</math> i parametri incogniti del modello e <math> p(y|\theta)\, </math> è la [[funzione di verosimiglianza]]. <math>C\,</math> è una costante che può essere trascurata in tutti i calcoli cui vengono confrontati modelli differenti, e in quanto tale non richiede di essere calcolata.

Riga 14 ⟶ 13:

L'idea è quella per cui modelli con valore di DIC piccolo dovrebbero essere preferiti a quelli con DIC grande. I modelli sono penalizzati mediante il valore di <math>\bar{D}</math>, il quale favorisce un buon adattamento ai dati, ma anche (in comune con AIC e BIC) mediante il numero di parametri efficace <math>p_D\,</math>. poiché <math> \bar D </math> diminuisce all'aumentare del numero di parametri, il termine <math>p_D\,</math> compensa per questo effetto favorendo modelli con un numero piccolo di parametri.

Nel caso di scelta tra modelli bayesiani, il vantaggio del DIC rispetto agli altri è di essere più facilmente calcolabile da campioni generati mediante simulazioni Monte Carlo basate su [[Catena_di_Markov_Monte_CarloCatena di Markov Monte Carlo|catene di Markov]], MCMC (''Markov Chain Monte Carlo''). I criteri AIC e BIC richiedono il calcolo del massimo della verosimiglianza sopra il parametro <math>\theta\,</math>, e questo non è direttamente reso disponibile da una simulazione MCMC. Invece per calcolare il valore del DIC, semplicemente si calcola <math>\bar{D}</math> come la media di <math>D(\theta)\,</math> sopra i campioni di <math>\theta\,</math>, mentre <math>D(\bar{\theta})</math> come il valore di <math>D\,</math> calcolato sulla media dei campioni di <math> \theta\, </math>. Il valore del DIC segue allora direttamente da queste approssimazioni. Claeskens e Hjort (2008, Cap. 3.5) mostrano che il DIC è equivalente per campionamenti estesi alla naturale versione robusta (in termini di modello) dell'AIC.

Nella derivazione del DIC, la famiglia parametrica di distribuzioni di probabilità specificata, e che genera le osservazioni future, include il modello vero. Questa assunzione non è sempre valida e in tale scenario è auspicabile considerare delle procedure di accertamento del modello. Inoltre, anche i dati osservati sono impiegati per costruire la distribuzione a posteriori e per determinare i modelli stimati. Perciò, il DIC tende a prediligere modelli sovra-adattati ai dati. Recentemente questi problemi sono stati risolti da Ando (2007) sviluppando criteri di scelta del modello bayesiano a partire da un punto di vista predittivo, BPIC (''Bayesian model selection criteria'').

Riga 23 ⟶ 22:

Il primo termine è una misura di quanto bene il modello si adatta ai dati, mentre il secondo termine è una penalità sulla complessità del modello.

==Voci correlate==

* [[Test di verifica delle informazioni di Akaike|Criterio informativo di Akaike]] (AIC)

* [[Criterio di informazione Bayesiano|Criterio informativo bayesiano]] (BIC)

* [[Criterio informativo predittivo bayesiano]] (BPIC)

* [[Criterio informativo focalizzato]] (FIC)

* [[Divergenza di Kullback-Leibler]]

* [[Divergenza di Jensen-Shannon]]

==Bibliografia==

*{{Cita pubblicazione

| nome = Tomohiro | cognome = Ando

Riga 39 ⟶ 29:

| titolo = Bayesian predictive information criterion for the evaluation of hierarchical Bayesian and empirical Bayes models

| rivista = [[Biometrika]]

| volume = 94 | pagine = 443&ndash;458443–458

| doi = 10.1093/biomet/asm017

| numero = 2

Riga 55 ⟶ 45:

| anno = 2004

| titolo = Bayesian Data Analysis

| url = https://archive.org/details/bayesiandataanal0000unse_w6z6 | ed = 2

| ed = 2

| pagine = 182&ndash;184182–184

| editore = Chapman & Hall/CRC

| città = Boca Raton

| mr = 2027492

| ISBN = 1-58488-388-X}}

* van der Linde, A. (2005). "DIC in variable selection", ''Statistica Neerlandica'', 59: 45-56. doi:[httphttps://dx.doi.org/10.1111/j.1467-9574.2005.00278.x 10.1111/j.1467-9574.2005.00278.x]

*{{Cita pubblicazione

| nome = David J. | cognome = Spiegelhalter | linkautore = David Spiegelhalter

| first2 nome2= Nicola G. |last2cognome2=Best

| first3nome3=Bradley P. |last3cognome3=Carlin

|first4nome4= Angelika |last4cognome4=van der Linde

| mese = ottobre

| anno = 2002

| titolo = Bayesian measures of model complexity and fit (with discussion)

| rivista = [[Journal of the Royal Statistical Society]], Series B (Statistical Methodology)

| volume = 64 | numero = 4 | pagine = 583&ndash;639583–639

| doi = 10.1111/1467-9868.00353 |mr=1979380 | jstor = 3088806

}}

{{==Voci isolate}}correlate==

* [[Test di verifica delle informazioni di Akaike|Criterio informativo di Akaike]] (AIC)

* [[Criterio di informazione Bayesiano|Criterio informativo bayesiano]] (BIC)

* [[Criterio informativo predittivo bayesiano]] (BPIC)

* [[Criterio informativo focalizzato]] (FIC)

* [[Divergenza di Kullback-Leibler]]

* [[Divergenza di Jensen-Shannon]]

[[Categoria:Statistica bayesiana]]