Gradient boosting
Gradient boosting (traducibile in italiano come: "potenziamento del gradiente") è una tecnica di machine learning di regressione e problemi di Classificazione statistica che producono un modello predittivo nella forma di un insieme di modelli predittivi deboli, tipicamente alberi di decisione. Costruisce un modello in maniera simile ai metodi di boosting, e li generalizza permettendo l'ottimizzazione di una funzione di perdita differenziabile arbitraria.
L'idea del gradient boosting è nata dall'osservazione di Leo Breiman[1] quel potenziamento può essere interpretato come un algoritmo di ottimizzazione su una funzione di costo adeguata. Gli algoritmi i gradient boosting con regressione esplicita da Jerome H. Friedman[2][3] simultaneamente con la più generale prospettiva di gradient boosting funzionale di Llew Mason, Jonathan Baxter, Peter Bartlett and Marcus Frean.[4][5] Questi ultimi 2 articoli introdussero la visione astratta degli algoritmi di boosting come algoritmi di gradienti funzionali discendenti iterativi; ovvero gli algoritmi che ottimizzano una funzione costo su una funzione spazio scegliendo iterativamente una funzione (ipotesi debole) che punti ad una direzione cn gradiente negativo. Questa visione del gradiente funzionale del boosting ha portato allo sviluppo di algoritmi di boosting in diverse aree del machine learning e della statistica che vanno oltre la regressione e la classificazione.
Note
- ^ Breiman, L. "Arcing The Edge" (June 1997)
- ^ Friedman, J. H. "Greedy Function Approximation: A Gradient Boosting Machine." (February 1999)
- ^ Friedman, J. H. "Stochastic Gradient Boosting." (March 1999)
- ^ L. Mason, J. Baxter, P. L. Bartlett e Marcus Frean, Boosting Algorithms as Gradient Descent (PDF), in S.A. Solla and T.K. Leen and K. Müller (a cura di), Advances in Neural Information Processing Systems 12, MIT Press, 1999, pp. 512–518.
- ^ Boosting Algorithms as Gradient Descent in Function Space (PDF), in {{{ency}}}, May 1999.