Criterio informativo della devianza: differenze tra le versioni

Versione delle 02:13, 14 apr 2013

Versione attuale delle 04:40, 12 apr 2024

(15 versioni intermedie di 10 utenti non mostrate)

Riga 1:

Il '''criterio informativo della devianza''', DIC (''deviance information criterion''), è una generalizzazione di modellizzazione gerarchica del [[Test di verifica delle informazioni di Akaike|criterio informativo di Akaike]], (AIC, (''Akaike information criterion''), notoe anchedello comeSchwarz criterioCriterion di Schwarz(BIC). È particolarmente utile nei problemi di [[scelta di modello|scelta di modelli]] [[Inferenza bayesiana|bayesiani]] in cui le [[Probabilità a posteriori|distribuzioni a posteriori]] dei [[modello statistico|modelli]] è stata ottenuta mediante simulazione [[Catena_di_Markov_Monte_CarloCatena di Markov Monte Carlo|MCMC]]. Analogamente all'AIC e al BIC, il DIC è una approssimazione asintotica che migliora ampliando la dimensione del campione di dati. È valida solamente quando la distribuzione a posteriori è approssimativamente di tipo [[distribuzione normale multivariata|normale multivariata]].

Definiamo la [[devianza (statistica matematica)|devianza]] come <math> D(\theta)=-2 \log(p(y|\theta))+C\, </math>, dove <math>y\,</math> rappresenta i dati, <math>\theta\,</math> i parametri incogniti del modello e <math> p(y|\theta)\, </math> è la [[funzione di verosimiglianza]]. <math>C\,</math> è una costante che può essere trascurata in tutti i calcoli cui vengono confrontati modelli differenti, e in quanto tale non richiede di essere calcolata.

Riga 13:

L'idea è quella per cui modelli con valore di DIC piccolo dovrebbero essere preferiti a quelli con DIC grande. I modelli sono penalizzati mediante il valore di <math>\bar{D}</math>, il quale favorisce un buon adattamento ai dati, ma anche (in comune con AIC e BIC) mediante il numero di parametri efficace <math>p_D\,</math>. poiché <math> \bar D </math> diminuisce all'aumentare del numero di parametri, il termine <math>p_D\,</math> compensa per questo effetto favorendo modelli con un numero piccolo di parametri.

Nel caso di scelta tra modelli bayesiani, il vantaggio del DIC rispetto agli altri è di essere più facilmente calcolabile da campioni generati mediante simulazioni Monte Carlo basate su [[Catena_di_Markov_Monte_CarloCatena di Markov Monte Carlo|catene di Markov]], MCMC (''Markov Chain Monte Carlo''). I criteri AIC e BIC richiedono il calcolo del massimo della verosimiglianza sopra il parametro <math>\theta\,</math>, e questo non è direttamente reso disponibile da una simulazione MCMC. Invece per calcolare il valore del DIC, semplicemente si calcola <math>\bar{D}</math> come la media di <math>D(\theta)\,</math> sopra i campioni di <math>\theta\,</math>, mentre <math>D(\bar{\theta})</math> come il valore di <math>D\,</math> calcolato sulla media dei campioni di <math> \theta\, </math>. Il valore del DIC segue allora direttamente da queste approssimazioni. Claeskens e Hjort (2008, Cap. 3.5) mostrano che il DIC è equivalente per campionamenti estesi alla naturale versione robusta (in termini di modello) dell'AIC.

Nella derivazione del DIC, la famiglia parametrica di distribuzioni di probabilità specificata, e che genera le osservazioni future, include il modello vero. Questa assunzione non è sempre valida e in tale scenario è auspicabile considerare delle procedure di accertamento del modello. Inoltre, anche i dati osservati sono impiegati per costruire la distribuzione a posteriori e per determinare i modelli stimati. Perciò, il DIC tende a prediligere modelli sovra-adattati ai dati. Recentemente questi problemi sono stati risolti da Ando (2007) sviluppando criteri di scelta del modello bayesiano a partire da un punto di vista predittivo, BPIC (''Bayesian model selection criteria'').

Riga 22:

Il primo termine è una misura di quanto bene il modello si adatta ai dati, mentre il secondo termine è una penalità sulla complessità del modello.

==Voci correlate==

* [[Test di verifica delle informazioni di Akaike|Criterio informativo di Akaike]] (AIC)

* [[Criterio di informazione Bayesiano|Criterio informativo bayesiano]] (BIC)

* [[Criterio informativo predittivo bayesiano]] (BPIC)

* [[Criterio informativo focalizzato]] (FIC)

* [[Divergenza di Kullback-Leibler]]

* [[Divergenza di Jensen-Shannon]]

==Bibliografia==

*{{Cita pubblicazione

| firstnome = Tomohiro | lastcognome = Ando

*{{cite journal

| yearanno = 2007

| first = Tomohiro | last = Ando

| titletitolo = Bayesian predictive information criterion for the evaluation of hierarchical Bayesian and empirical Bayes models

| year = 2007

| journalrivista = [[Biometrika]]

| title = Bayesian predictive information criterion for the evaluation of hierarchical Bayesian and empirical Bayes models

| volume = 94 | pagespagine = 443&ndash;458443–458

| journal = [[Biometrika]]

| volume = 94 | pages = 443&ndash;458

| doi = 10.1093/biomet/asm017

| issuenumero = 2

}}

*{{Cita pubblicazione

*{{cite journal

| firstnome = Tomohiro | lastcognome = Ando

| yearanno = 2012

| titletitolo = Predictive Bayesian model selection

| journalrivista = [[American Journal of Mathematical and Management Sciences]]

}}

* Claeskens, G, and [[Nils Lid Hjort|Hjort, N.L.]] (2008). ''Model Selection and Model Averaging'', Cambridge. Section 3.5.

*{{citeCita booklibro

| firstnome = Andrew | lastcognome = Gelman

| first2 coautori= John B. |last2=Carlin, Hal. S. Stern, Donald Rubin

| yearanno = 2004

| first3=Hal. S. |last3=Stern

| titletitolo = Bayesian Data Analysis

| first4= Donald B. |last4=Rubin |authorlink4=Donald Rubin

| url = https://archive.org/details/bayesiandataanal0000unse_w6z6 | ed = 2

| year = 2004

| pagine = 182–184

| title = Bayesian Data Analysis

| publishereditore = Chapman & Hall/CRC

| edition = 2nd

| pagescittà = 182&ndash;184Boca Raton

| mr = 2027492

| publisher = Chapman & Hall/CRC

| isbnISBN = 1-58488-388-X}}

| ___location = Boca Raton, Florida

* van der Linde, A. (2005). "DIC in variable selection", ''Statistica Neerlandica'', 59: 45-56. doi:[httphttps://dx.doi.org/10.1111/j.1467-9574.2005.00278.x 10.1111/j.1467-9574.2005.00278.x]

| isbn = 1-58488-388-X

*{{Cita pubblicazione

| id = {{LCC|QA279.5.B386|2004}} | mr = 2027492

| firstnome = David J. | lastcognome = Spiegelhalter | authorlinklinkautore = David Spiegelhalter

}}

| first2 nome2= Nicola G. |last2cognome2=Best

* van der Linde, A. (2005). "DIC in variable selection", ''Statistica Neerlandica'', 59: 45-56. doi:[http://dx.doi.org/10.1111/j.1467-9574.2005.00278.x 10.1111/j.1467-9574.2005.00278.x]

| first3nome3=Bradley P. |last3cognome3=Carlin

*{{cite journal

|first4nome4= Angelika |last4cognome4=van der Linde

| first = David J. | last = Spiegelhalter | authorlink = David Spiegelhalter

| mese = ottobre

| first2 = Nicola G. |last2=Best

| yearanno = 2002

| first3=Bradley P. |last3=Carlin

| titletitolo = Bayesian measures of model complexity and fit (with discussion)

|first4= Angelika |last4=van der Linde

| journalrivista = [[Journal of the Royal Statistical Society]], Series B (Statistical Methodology)

| month = October

| volume = 64 | issuenumero = 4 | pagespagine = 583&ndash;639583–639

| year = 2002

| title = Bayesian measures of model complexity and fit (with discussion)

| journal = [[Journal of the Royal Statistical Society]], Series B (Statistical Methodology)

| volume = 64 | issue = 4 | pages = 583&ndash;639

| doi = 10.1111/1467-9868.00353 |mr=1979380 | jstor = 3088806

}}

{{==Voci isolate}}correlate==

* [[Test di verifica delle informazioni di Akaike|Criterio informativo di Akaike]] (AIC)

* [[Criterio di informazione Bayesiano|Criterio informativo bayesiano]] (BIC)

* [[Criterio informativo predittivo bayesiano]] (BPIC)

* [[Criterio informativo focalizzato]] (FIC)

* [[Divergenza di Kullback-Leibler]]

* [[Divergenza di Jensen-Shannon]]

[[Categoria:Statistica bayesiana]]