Gradient boosting: differenze tra le versioni

Versione delle 00:32, 23 ott 2017

Versione delle 18:28, 17 lug 2018

Riga 1:

'''Gradient boosting''' (traducibile in italiano come: "potenziamento del gradiente") è una tecnica di [[machine learning]] di [[Analisi_della_regressioneAnalisi della regressione|regressione]] e problemi di [[Classificazione statistica]] che producono un modello predittivo nella forma di un [[Apprendimento ensemble|insieme]] di modelli predittivi deboli, tipicamente [[Albero di decisione|alberi di decisione]].

Costruisce un modello in maniera simile ai metodi di [[boosting]], e li generalizza permettendo l'ottimizzazione di una [[funzione di perdita]] differenziabile arbitraria.

Riga 11:

|url= http://papers.nips.cc/paper/1766-boosting-algorithms-as-gradient-descent.pdf

}}</ref><ref name="MasonBaxterBartlettFrean1999b">

{{cita libro|cognome1= Mason |nome1=L. |cognome2= Baxter |nome2=J. |cognome3= Bartlett |nome3=P. L. |cognome4= Frean |nome4=Marcus |data=maggio 1999 |titolo=Boosting Algorithms as Gradient Descent in Function Space | url = http://maths.dur.ac.uk/~dma6kp/pdf/face_recognition/Boosting/Mason99AnyboostLong.pdf}}</ref>

{{cite encyclopedia

| last1 = Mason | first1 = L. | last2 = Baxter | first2 = J. | last3 = Bartlett | first3 = P. L. | last4 = Frean | first4 = Marcus

|date=May 1999

| title = Boosting Algorithms as Gradient Descent in Function Space

| url = http://maths.dur.ac.uk/~dma6kp/pdf/face_recognition/Boosting/Mason99AnyboostLong.pdf

}}</ref>

Questi ultimi 2 articoli introdussero la visione astratta degli algoritmi di boosting come algoritmi di gradienti funzionali discendenti iterativi; ovvero gli algoritmi che ottimizzano una funzione costo su una funzione spazio scegliendo iterativamente una funzione (ipotesi debole) che punti ad una direzione con gradiente negativo.

Questa visione del gradiente funzionale del boosting ha portato allo sviluppo di algoritmi di boosting in diverse aree del [[machine learning]] e della statistica che vanno oltre la regressione e la classificazione.