Gradient boosting: differenze tra le versioni

Versione delle 18:28, 17 lug 2018

Versione attuale delle 03:56, 16 mar 2025

(6 versioni intermedie di 4 utenti non mostrate)

Riga 2:

Costruisce un modello in maniera simile ai metodi di [[boosting]], e li generalizza permettendo l'ottimizzazione di una [[funzione di perdita]] differenziabile arbitraria.

L'idea del gradient boosting è nata dall'osservazione di [[Leo Breiman]]<ref name="Breiman1997">Breiman, L. "[http://statistics.berkeley.edu/sites/default/files/tech-reports/486.pdf Arcing The Edge]" (June 1997)</ref> quel potenziamento può essere interpretato come un [[algoritmo]] di ottimizzazione su una [[Funzione obiettivo|funzione di costo]] adeguata. Gli algoritmi i gradient boosting con regressione esplicita da [[Jerome H. Friedman]]<ref name="Friedman1999a">Friedman, J. H. "[http://www-stat.stanford.edu/~jhf/ftp/trebst.pdf Greedy Function Approximation: A Gradient Boosting Machine.] {{Webarchive|url=https://web.archive.org/web/20130608083258/http://www-stat.stanford.edu/~jhf/ftp/trebst.pdf |date=8 giugno 2013 }}" (February 1999)</ref><ref name="Friedman1999b">Friedman, J. H. "[https://statweb.stanford.edu/~jhf/ftp/stobst.pdf Stochastic Gradient Boosting.] {{Webarchive|url=https://web.archive.org/web/20140801033113/http://statweb.stanford.edu/~jhf/ftp/stobst.pdf |date=1 agosto 2014 }}" (March 1999)</ref> simultaneamente con la più generale prospettiva di gradient boosting funzionale di Llew Mason, Jonathan Baxter, Peter Bartlett and Marcus Frean.<ref name="MasonBaxterBartlettFrean1999a">

{{Cita conferenza|cognome1= Mason |nome1= L. |cognome2= Baxter |nome2= J. |cognome3= Bartlett |nome3= P. L. |cognome4= Frean |nome4= Marcus

|anno= 1999

Riga 8:

|curatore= S.A. Solla and T.K. Leen and K. Müller

|editore= MIT Press

|pp= 512–518512-518

|url= http://papers.nips.cc/paper/1766-boosting-algorithms-as-gradient-descent.pdf

}}</ref><ref name="MasonBaxterBartlettFrean1999b">{{cita libro |cognome1= Mason |nome1=L. |cognome2= Baxter |nome2=J. |cognome3= Bartlett |nome3=P. L. |cognome4= Frean |nome4=Marcus |data=maggio 1999 |titolo=Boosting Algorithms as Gradient Descent in Function Space | url=http://maths.dur.ac.uk/~dma6kp/pdf/face_recognition/Boosting/Mason99AnyboostLong.pdf |accesso=3 settembre 2017 |urlarchivio=https://web.archive.org/web/20181222170928/http://maths.dur.ac.uk/~dma6kp/pdf/face_recognition/Boosting/Mason99AnyboostLong.pdf |dataarchivio=22 dicembre 2018 |urlmorto=sì }}</ref>

}}</ref><ref name="MasonBaxterBartlettFrean1999b">

{{cita libro|cognome1= Mason |nome1=L. |cognome2= Baxter |nome2=J. |cognome3= Bartlett |nome3=P. L. |cognome4= Frean |nome4=Marcus |data=maggio 1999 |titolo=Boosting Algorithms as Gradient Descent in Function Space | url = http://maths.dur.ac.uk/~dma6kp/pdf/face_recognition/Boosting/Mason99AnyboostLong.pdf}}</ref>

Questi ultimi 2 articoli introdussero la visione astratta degli algoritmi di boosting come algoritmi di gradienti funzionali discendenti iterativi; ovvero gli algoritmi che ottimizzano una funzione costo su una funzione spazio scegliendo iterativamente una funzione (ipotesi debole) che punti ad una direzione con gradiente negativo.

Questa visione del gradiente funzionale del boosting ha portato allo sviluppo di algoritmi di boosting in diverse aree del [[machine learning]] e della statistica che vanno oltre la regressione e la classificazione.

Riga 19 ⟶ 18:

== Voci correlate ==

* [[AdaBoost]]

* [[Foresta casuale]]

* [[xgboost]]