Stacking (apprendimento automatico): differenze tra le versioni

Versione delle 10:57, 19 ago 2025

Versione attuale delle 17:59, 19 ago 2025

(4 versioni intermedie di un altro utente non mostrate)

Riga 1:

Nell'apprendimento automatico, lo '''stacking''' (detto anche, per esteso, '''''stacked generalization''''') è una tecnica di [[apprendimento d'insieme]] che comporta l'addestramento di un modello atto a combinare predizioni fornite attraverso più algoritmi di apprendimento diversi fra loro <ref name=":0">{{Cita pubblicazione|nome=David H.|cognome=Wolpert|data=1992-01-01|titolo=Stacked generalization|rivista=Neural Networks|volume=5|numero=2|pp=241–259|accesso=2025-08-19|doi=10.1016/S0893-6080(05)80023-1|url=https://www.sciencedirect.com/science/article/pii/S0893608005800231}}</ref>. Dapprima, si addestrano tutti i diversi modelli usando i dati disponibili, quindi si addestra l'algoritmo di combinazione (''stimatore finale'') a fare predizioni conclusive utilizzando come input le predizioni fornite dai diversi algoritmi (''stimatori di base'') oppure usando predizioni tramite [[convalida incrociata]] fatte dagli stimatori di base, in modo da prevenire il [[Overfitting|sovradattamento]].<ref>{{Cita web|lingua=en|url=https://scikit-learn/stable/modules/ensemble.html|titolo=1.11. Ensembles: Gradient boosting, random forests, bagging, voting, stacking|sito=scikit-learn|accesso=2025-08-19}}</ref> Da un punto di vista teorico, adottando un algoritmo di combinazione arbitrario, lo stacking è in grado di rappresentare qualsiasi tecnica ''ensemble'', sebbene nella pratica si usi spesso come combinatore un modello di [[regressione logistica]].

Tipicamente lo stacking offre prestazioni migliori di ciascun modello base addestrato. <ref name=":0" /> La tecnica è stata usata con successo per la soluzione di problemi di apprendimento supervisionato (regressione <ref>{{Cita pubblicazione|nome=Leo|cognome=Breiman|data=1996-07-01|titolo=Stacked regressions|rivista=Machine Learning|volume=24|numero=1|pp=49–64|lingua=en|accesso=2025-08-19|doi=10.1007/BF00117832|url=https://doi.org/10.1007/BF00117832}}</ref>, classificazione, e apprendimento di distanze <ref>{{Cita pubblicazione|nome=Mete|cognome=Ozay|nome2=Fatos T. Yarman|cognome2=Vural|data=2013-08-12|titolo=A New Fuzzy Stacked Generalization Technique and Analysis of its Performance|accesso=2025-08-19|doi=10.48550/arXiv.1204.0171|url=http://arxiv.org/abs/1204.0171}}</ref>) e anche non supervisionato (stima di densità <ref>{{Cita pubblicazione|nome=Padhraic|cognome=Smyth|nome2=David|cognome2=Wolpert|data=1999-07-01|titolo=Linearly Combining Density Estimators via Stacking|rivista=Machine Learning|volume=36|numero=1|pp=59–83|lingua=en|accesso=2025-08-19|doi=10.1023/A:1007511322260|url=https://doi.org/10.1023/A:1007511322260}}</ref>). Essa è stata impiegata anche per stimare il tasso di errore nel [[bagging]] <ref>{{Cita pubblicazione|nome=Lior|cognome=Rokach|data=2010-02-01|titolo=Ensemble-based classifiers|rivista=Artificial Intelligence Review|volume=33|numero=1|pp=1–39|lingua=en|accesso=2025-08-19|doi=10.1007/s10462-009-9124-7|url=https://doi.org/10.1007/s10462-009-9124-7}}</ref><ref>{{Cita pubblicazione|nome=David H.|cognome=Wolpert|nome2=William G.|cognome2=Macready|data=1999-04-01|titolo=An Efficient Method To Estimate Bagging's Generalization Error|rivista=Machine Learning|volume=35|numero=1|pp=41–55|lingua=en|accesso=2025-08-19|doi=10.1023/A:1007519102914|url=https://doi.org/10.1023/A:1007519102914}}</ref>. È stato dimostrato che lo stacking possa fornire prestazioni superiori rispetto alalla modello di''[[Statistica bayesiana|mediazione bayesianosui modelli bayesiana]]'' (BMA) <ref>{{Cita pubblicazione|nome=Bertrand|cognome=Clarke|data=2003|titolo=Comparing Bayes Model Averaging and Stacking When Model Approximation Error Cannot be Ignored|rivista=Journal of Machine Learning Research|volume=4|numero=Oct|pp=683–712|accesso=2025-08-19|url=https://www.jmlr.org/papers/v4/clarke03a.html}}</ref>. I due migliori modelli in una nota competizione (''Netflix Prize'') hanno utilizzato il ''blending'', che può essere considerato una forma di stacking <ref>{{Cita pubblicazione|nome=Joseph|cognome=Sill|nome2=Gabor|cognome2=Takacs|nome3=Lester|cognome3=Mackey|data=2009-11-04|titolo=Feature-Weighted Linear Stacking|accesso=2025-08-19|doi=10.48550/arXiv.0911.0460|url=http://arxiv.org/abs/0911.0460}}</ref>.

== Note ==

<references />

== Riferimenti bibliografici ==

* {{Cita libro|lingua=en|nome=Ethem|cognome=Alpaydın|capitolo=18.9 Stacked Generalization|titolo=Introduction to machine learning|edizione=4|data=2020|editore=The MIT Press|ISBN=978-0-262-04379-3}}

* {{Cita libro|lingua=en|nome=Kevin P.|cognome=Murphy|titolo=Probabilistic machine learning: an introduction|data=2022|editore=The MIT Press|capitolo=18.2 Ensemble learning|ISBN=978-0-262-04682-4}}

{{apprendimento automatico}}

[[Categoria:Apprendimento automatico]]