Overfitting: differenze tra le versioni

Versione delle 09:08, 6 apr 2019

Versione attuale delle 21:59, 11 giu 2024

(8 versioni intermedie di 7 utenti non mostrate)

Riga 1:

{{F|Informaticastatistica|novembre 2016}}

{{S|statistica}}

[[File:Overfitted Data.png|thumb|upright=1.4|Una serie di dati all'incirca lineare (ma affetta da rumore), approssimabile sia da una [[funzione lineare]] sia da una [[interpolazione polinomiale]]. Nonostante quella polinomiale si adatti in modo perfetto ai dati, ci si aspetta che la versione lineare debba rappresentare una migliore generalizzazione: quindi, in un'estrapolazione al di fuori dei dati conosciuti la funzione lineare fornirebbe migliori [[Previsione|predizioni]].]]

[[File:Overfitting svg.svg|thumb|upright=1.4|La curva blu mostra l'andamento dell'errore nel classificare i dati di ''training'', mentre la curva rossa mostra l'errore nel classificare i dati di ''test'' o ''validazione''. Una situazione in cui il secondo aumenta mentre il primo diminuisce è indice della possibile presenza di un caso di ''overfitting''.]]

In [[statistica]] e in [[informatica]], si parla di '''''overfitting''''' (in [[lingua italiana|italiano]]:o '''adattamento eccessivosovradattamento''', (oppure '''sovradattamentoadattamento eccessivo''') quando un [[modello statistico]] molto complesso si adatta ai dati osservati (il [[Campionamento statistico|campione]]) perché ha un numero eccessivo di parametri rispetto al numero di osservazioni.

Un modello assurdo e sbagliato può adattarsi perfettamente se è abbastanza complesso rispetto alla quantità di dati disponibili.

Si sostiene che l{{'}}''overfitting'' sia una violazione del principio del [[Rasoiorasoio di Occam]].

== Apprendimento automatico e ''data mining'' ==

Il concetto di ''overfitting'' è molto importante anche nell'[[apprendimento automatico]] e nel [[data mining]]. Di solito un [[algoritmo]] di apprendimento viene ''allenato'' usando un certo insieme di esempidati (ilconosciuti, detto ''[[training set]]'' appunto), ad esempio situazioni tipo di cui è già noto il risultato che interessa prevedere (''output''). SiUn assumebuon che l'algoritmo di apprendimento (ilimpara ''learner'')la raggiungeràdistribuzione unodei stato in cui sarà in gradodati di predirequesto gliinsieme outputma per tutti gli altri esempi che ancora non ha visionato, cioè si assume che il modello di apprendimento saràè in grado di ''generalizzare''<!--adattarsi [[inductivebene bias]]anche daa tradurredati (limite strutturale? limite induttivo?) o lasciare in inglese? Vedi però [[biasnuovi (distorsione)]] -->. Tuttavia, soprattutto nei casi in cui l'apprendimento è stato effettuato troppo a lungo o dove c'era uno scarso numero di esempi di allenamentogergo, ilsi modello potrebbe adattarsi a caratteristichedice che sono specifiche solo del training set, ma che non hanno riscontro nel resto dei casi; perciò, in presenza di l''overfitting'',algoritmo le prestazioni (cioè la capacità di adattarsi/prevederegeneralizza) sui dati di allenamento aumenteranno, mentre le prestazioni sui dati non visionati saranno peggiori.

Tuttavia, soprattutto nei casi in cui l'apprendimento è stato effettuato troppo a lungo o dove c'era uno scarso numero di esempi di allenamento, il modello potrebbe adattarsi a caratteristiche che sono specifiche solo del ''training set'', ma che non hanno riscontro nella distribuzione tipica del resto dei casi. Perciò il modello impara le peculiarità del training set e non riesce ad adattarsi a dati nuovi. Si ha quindi ''overfitting'' quando il miglioramento delle prestazioni del modello (cioè la capacità di adattarsi/prevedere) sui dati di allenamento non implica un miglioramento delle prestazioni sui dati nuovi.

== Contromisure ==

Sia nella statistica sia nel nell'[[apprendimento automatico]], per prevenire ed evitare l<nowiki>{{'</nowiki>}}''overfitting'' è necessario mettere in atto particolari accorgimenti tecnici, come la [[Convalida incrociata|convalidazioneconvalida incrociata]] e l'[[Arresto anticipato (statistica)|arresto anticipato]], che indicano quando un ulteriore allenamento non porterebbe a una migliore generalizzazione.

Sia nella statistica sia nel [[apprendimento automatico]], per prevenire ed evitare l<nowiki>'</nowiki>''overfitting'' è necessario mettere in atto particolari accorgimenti tecnici, come la [[Convalida incrociata|convalidazione incrociata]] e l'[[Arresto anticipato (statistica)|arresto anticipato]], che indicano quando un ulteriore allenamento non porterebbe a una migliore generalizzazione.

Nel [[treatment learning]] si evita l'overfitting utilizzando il valore di supporto migliore e minimale.

== Altri progetti ==

{{interprogetto}}

{{Portale|matematica|informatica|statistica}}

[[Categoria:ComputerVisione visionartificiale]]

[[Categoria:Elaborazione digitale delle immagini]]

[[Categoria:Teoria dell'informazione]]