Overfitting
In statistica e nell'apprendimento automatico, si parla di overfitting o sovradattamento (oppure adattamento eccessivo) quando un modello statistico molto complesso si adatta ai dati osservati (il campione) perché ha un numero eccessivo di parametri rispetto al numero di osservazioni.[1]
Un modello sufficientemente complesso può adattarsi perfettamente al campione di addestramento ma potrebbe apprendere regolarità spurie, specifiche del campione, ma in realtà assenti nella distribuzione dell'intera popolazione.
L'overfitting comporta una violazione del principio del rasoio di Occam, che è molto correlato al compromesso fra bias e varianza e al principio della Minima Lunghezza di Descrizione.
Apprendimento automatico e data mining
modificaIl concetto di overfitting è molto importante anche nell'apprendimento automatico e nel data mining. Di solito un algoritmo di apprendimento viene allenato usando un certo insieme di dati conosciuti, detto training set. Un buon algoritmo di apprendimento impara la distribuzione dei dati di questo insieme ma è in grado di adattarsi bene anche a dati nuovi (in gergo, si dice che l'algoritmo generalizza).
Tuttavia, soprattutto nei casi in cui l'apprendimento è stato effettuato troppo a lungo o dove c'era uno scarso numero di esempi di allenamento, il modello potrebbe adattarsi a caratteristiche che sono specifiche solo del training set, ma che non hanno riscontro nella distribuzione tipica del resto dei casi. Perciò il modello impara le peculiarità del training set e non riesce ad adattarsi a dati nuovi. Si ha quindi overfitting quando il miglioramento delle prestazioni del modello (cioè la capacità di adattarsi/prevedere) sui dati di allenamento non implica un miglioramento delle prestazioni sui dati nuovi.
Oltre ai principi citati in precedenza, si deve richiamare il cosiddetto compromesso triplo[2]: nella costruzione dei modelli di apprendimento addestrati su dati-campione, si deve cercare un compromesso tra tre fattori, ovvero
- la complessità del modello (ipotesi) che si deve adattare ai dati, ossia la capacità della classe di ipotesi,
- il quantitativo di dati di addestramento a disposizione,
- l'errore di generalizzazione su nuovi esempi.
Contromisure
modificaSia nella statistica sia nell'apprendimento automatico, per prevenire ed evitare l'overfitting è necessario mettere in atto particolari accorgimenti tecnici, come la convalida incrociata [3] e l'arresto anticipato, che indicano quando un ulteriore allenamento non porterebbe a una migliore generalizzazione.
Una forma aggiuntiva è costituita dalla regolarizzazione, che consiste nell'aggiunta alla funzione obiettivo di un termine, il regolarizzatore, che controlla la complessità del modello, penalizzandola in ragione di un parametro ad hoc.
Nel treatment learning si evita l'overfitting utilizzando il valore di supporto migliore e minimale.
Altri progetti
modifica
Wikimedia Commons contiene immagini o altri file su overfitting
Voci correlate
modificaNote
modifica- ^ Kevin P. Murphy, Probabilistic machine learning: an introduction, collana Adaptive computation and machine learning, The MIT Press, 2022, p. 12, ISBN 978-0-262-04682-4.
- ^ (EN) Thomas G. Dietterich, Machine Learning (PDF), in Nature Encyclopedia of Cognitive Science,, Macmillan, 2003.
- ^ Ethem Alpaydın, Ch. 20: Design and Analysis of Machine Learning Experiments, in Introduction to machine learning, collana Adaptive computation and machine learning, Fourth edition, The MIT Press, 2020, ISBN 978-0-262-35806-4.
