Gradient boosting: differenze tra le versioni

Versione delle 23:25, 3 set 2017

Versione attuale delle 03:56, 16 mar 2025

(11 versioni intermedie di 8 utenti non mostrate)

Riga 1:

'''Gradient boosting''' (traducibile in italiano come: "potenziamento del gradiente") è una tecnica di [[machine learning]] di [[Analisi_della_regressioneAnalisi della regressione|regressione]] e problemi di [[Classificazione statistica]] che producono un modello predittivo nella forma di un [[Apprendimento ensemble|insieme]] di modelli predittivi deboli, tipicamente [[Albero di decisione|alberi di decisione]].

Costruisce un modello in maniera simile ai metodi di [[boosting]], e li generalizza permettendo l'ottimizzazione di una [[funzione di perdita]] differenziabile arbitraria.

L'idea del gradient boosting è nata dall'osservazione di [[Leo Breiman]]<ref name="Breiman1997">Breiman, L. "[http://statistics.berkeley.edu/sites/default/files/tech-reports/486.pdf Arcing The Edge]" (June 1997)</ref> quel potenziamento può essere interpretato come un [[algoritmo]] di ottimizzazione su una [[Funzione obiettivo|funzione di costo]] adeguata. Gli algoritmi i gradient boosting con regressione esplicita da [[Jerome H. Friedman]]<ref name="Friedman1999a">Friedman, J. H. "[http://www-stat.stanford.edu/~jhf/ftp/trebst.pdf Greedy Function Approximation: A Gradient Boosting Machine.] {{Webarchive|url=https://web.archive.org/web/20130608083258/http://www-stat.stanford.edu/~jhf/ftp/trebst.pdf |date=8 giugno 2013 }}" (February 1999)</ref><ref name="Friedman1999b">Friedman, J. H. "[https://statweb.stanford.edu/~jhf/ftp/stobst.pdf Stochastic Gradient Boosting.] {{Webarchive|url=https://web.archive.org/web/20140801033113/http://statweb.stanford.edu/~jhf/ftp/stobst.pdf |date=1 agosto 2014 }}" (March 1999)</ref> simultaneamente con la più generale prospettiva di gradient boosting funzionale di Llew Mason, Jonathan Baxter, Peter Bartlett and Marcus Frean.<ref name="MasonBaxterBartlettFrean1999a">

{{Cita conferenza| last1 cognome1= Mason | first1 nome1= L. | last2 cognome2= Baxter | first2 nome2= J. | last3 cognome3= Bartlett | first3 nome3= P. L. | last4 cognome4= Frean | first4 nome4= Marcus

{{cite conference

| year anno= 1999

| last1 = Mason | first1 = L. | last2 = Baxter | first2 = J. | last3 = Bartlett | first3 = P. L. | last4 = Frean | first4 = Marcus

|articolo= Boosting Algorithms as booktitleGradient Descent|titolo= Advances in Neural Information Processing Systems 12

| year = 1999

| editor curatore= S.A. Solla and T.K. Leen and K. Müller

| title = Boosting Algorithms as Gradient Descent

| publisher editore= MIT Press

| booktitle = Advances in Neural Information Processing Systems 12

|pp= 512-518

| editor = S.A. Solla and T.K. Leen and K. Müller

| url = http://papers.nips.cc/paper/1766-boosting-algorithms-as-gradient-descent.pdf

| publisher = MIT Press

}}</ref><ref name="MasonBaxterBartlettFrean1999b">{{cita libro |cognome1=Mason |nome1=L. |cognome2=Baxter |nome2=J. |cognome3=Bartlett |nome3=P. L. |cognome4=Frean |nome4=Marcus |data=maggio 1999 |titolo=Boosting Algorithms as Gradient Descent in Function Space |url=http://maths.dur.ac.uk/~dma6kp/pdf/face_recognition/Boosting/Mason99AnyboostLong.pdf |accesso=3 settembre 2017 |urlarchivio=https://web.archive.org/web/20181222170928/http://maths.dur.ac.uk/~dma6kp/pdf/face_recognition/Boosting/Mason99AnyboostLong.pdf |dataarchivio=22 dicembre 2018 |urlmorto=sì }}</ref>

| pages = 512–518

Questi ultimi 2 articoli introdussero la visione astratta degli algoritmi di boosting come algoritmi di gradienti funzionali discendenti iterativi; ovvero gli algoritmi che ottimizzano una funzione costo su una funzione spazio scegliendo iterativamente una funzione (ipotesi debole) che punti ad una direzione cncon gradiente negativo.

| url = http://papers.nips.cc/paper/1766-boosting-algorithms-as-gradient-descent.pdf

}}</ref><ref name="MasonBaxterBartlettFrean1999b">

{{cite encyclopedia

| last1 = Mason | first1 = L. | last2 = Baxter | first2 = J. | last3 = Bartlett | first3 = P. L. | last4 = Frean | first4 = Marcus

|date=May 1999

| title = Boosting Algorithms as Gradient Descent in Function Space

| url = http://maths.dur.ac.uk/~dma6kp/pdf/face_recognition/Boosting/Mason99AnyboostLong.pdf

}}</ref>

Questi ultimi 2 articoli introdussero la visione astratta degli algoritmi di boosting come algoritmi di gradienti funzionali discendenti iterativi; ovvero gli algoritmi che ottimizzano una funzione costo su una funzione spazio scegliendo iterativamente una funzione (ipotesi debole) che punti ad una direzione cn gradiente negativo.

Questa visione del gradiente funzionale del boosting ha portato allo sviluppo di algoritmi di boosting in diverse aree del [[machine learning]] e della statistica che vanno oltre la regressione e la classificazione.

== Note ==

<references/>

== Voci correlate ==

* [[AdaBoost]]

* [[Foresta casuale]]

* [[xgboost]]

* [[LightGBM]]

[[Categoria:MachineApprendimento learningautomatico]]