Boosting

Il boosting è una tecnica di machine learning che rientra nella categoria dell'apprendimento ensemble. Nel boosting più modelli (deboli) vengono generati consecutivamente dando un peso maggiore agli esempi di training sui quali errori i modelli precedenti commettono errori più grandi. In questo modo si creano modelli via via più "attenti" agli aspetti che hanno causato inesattezze nei modelli precedenti, ottenendo infine un modello aggregato avente migliore accuratezza di ciascun modello che lo costituisce^[1].

In algoritmi come Adaboost^[2], l'output del modello aggregato è dato dalla somma pesata delle predizioni dei singoli modelli. Ogni volta che si addestra un modello, è prevista una fase di ri-pesatura delle istanze. L'algoritmo di boosting tenderà a dare un peso maggiore alle istanze misclassificate, nella speranza che il successivo modello sia più esperto su queste ultime.

In generale si ha che l'errore di predizione in un problema di apprendimento supervisionato è dato da:

${\displaystyle errore_{predizione}=bias^{2}+varianza}$

Il boosting mira principalmente a ridurre il bias. Altre tecniche di ensemble learning, come il bagging, mirano invece a ridurre la varianza.

Categorizzazione degli oggetti

• Problema della categorizzazione dell'oggetto
• Categorizzazione binaria
• Categorizzazione multiclasse

Algoritmi di Boosting convessi e non convessi

Note

1. ^ De Mauro, Andrea., Big data analytics : guida per iniziare a classificare e interpretare dati con il machine learning, Apogeo, 2019, ISBN 9788850334780, OCLC 1065010076. URL consultato il 10 novembre 2019.
2. ^ (EN) Trevor Hastie, Saharon Rosset e Ji Zhu, Multi-class AdaBoost, in Statistics and Its Interface, vol. 2, n. 3, 2009, pp. 349-360, DOI:10.4310/SII.2009.v2.n3.a8. URL consultato il 10 novembre 2019.

Voci correlate

• Adaboost
• Gradient boosting
• Foresta casuale
• Apprendimento ensemble
• Bagging (Bootstrap aggregating)
• Metodi di massima entropia
• Brownboost

Collegamenti esterni

• (EN) boosting, su Enciclopedia Britannica, Encyclopædia Britannica, Inc.  

Controllo di autorità	LCCN (EN) sh2011005111 · J9U (EN, HE) 987007572846405171

  Portale Informatica

  Portale Statistica