|
=Regolarizzazione (matematica)=
In [[matematica]] e [[statistica]], particolarmente nei campi dell'[[Apprendimento_automatico|apprendimento automatico]] e dei [[Problema_inverso|problemi inversi]], la '''regolarizzazione''' implicaconsiste lnell'introduzione di ulterioreulteriori informazioni o condizioni di informazioneregolarità allo scopo di risolvere un [[problema mal condizionato]] o per prevenire l'[[Overfitting|overfitting]]. TaleLe informazionetecniche èpiù solitamentecomuni nellaper formala soluzione di tali problemi prevedono una penalità''penalizzazione'' per complessità,le talesoluzioni come''poco unaregolari'', restrizionead suesempio unaconsiderando funzionesolo [[Funzione_liscia|funzionefunzioni liscialisce]] o imponendo una limitazione sulla loro [[Spazio_normatoNorma (matematica)|norma]] diin unoun opportuno [[Spazio_normato|spazio vettoriale]].
Una giustificazione teorica per la regolarizzazione è quella per cui essa costituisce un tentativo di imporre il [[Rasoio_di_Occam|rasoio di Occam]] alla soluzione. Da un punto di vista [[Inferenza_bayesiana|bayesiano]], molte tecniche di regolarizzazione corrispondono ad imporre certe distribuzioni di [[Probabilità|probabilità a priori]] dei parametri del modello.
LaIl medesimamedesimo ideaapproccio sorgeviene seguito in molti campi della [[scienza]]. Per esempio, il metodo dei [[Minimi_quadrati|minimi quadrati]] può essere visto come un forma veramentemolto semplice di regolarizzazione. Una semplice forma di regolarizzazione applicata alle [[Equazioni_integrali|equazioni integrali]], generalmente detta regolarizzazione di Tikhonov dal nome di [[Andrej_Nikolaevič_Tichonov|Andrey Nikolayevich Tikhonov]], è costituita essenzialmente da un bilanciamento tra la [[regressione]] dei dati e una norma dipendente dalla soluzione. Più recentemente, metodi di regolarizzazione non lineare inclusa la regolarizzazione a variazione totale (''total variation regularization'') sono divenuti popolari.
==Regolarizzazione in statistica==
In statistica e in [[Apprendimento automatico|apprendimento automatico]], la regolarizzazione è utilizzata per prevenire l'[[overfitting]]. Tipici esempi di regolarizzazione nell'apprendimento automatico statistico includono la [[Regolarizzazione_di_Tichonov|regolarizzazione di Tichonov]], il cosiddetto metodo dei minimi quadrati LASSO (''Least Absolute Shrinkage and Selection Operator''), e la [[Norma_(matematica)|norma ''L''<sup>2</sup>]] nelle [[Macchine_a_vettori_di_supporto|macchine a vettori di supporto]].
I metodi di regolarizzazione sono impiegati anche per la selezione di modelli, dove il loro funzionamento è basato sull'implicita o esplicita penalizzazione del numero di parametri del modello. Per esempio, i metodi di [[Apprendimento_bayesiano|apprendimento bayesiano]] fanno uso di una probabilità a priori che (solitamente) attribuisce un valore di probabilità inferiore ai modelli più complessi. BenTecniche noteben tecnichenote di selezione includono il [[Test_di_verifica_delle_informazioni_di_Akaike|criterio informativo di Akaike]] (''Akaike information criterion'', AIC), la lunghezza di descrizione minimaminimale (''minimum description length'', MDL), e il criterio diinformativo informazione bayesianabayesiano (''bayesian information criterion'', BIC). Metodi alternativi per controllare l'[[Overfitting|overfitting]] non coinvolgenti la regolarizzazione includono la [[Cross-validazione]].
Esempi di metodi differenti di regolarizzazione applicati al [[Modello_lineare|modello lineare]] sono:
Regularization methods are also used for model selection, where they work by implicitly or explicitly penalizing models based on the number of their parameters. For example, [[Bayesian model comparison|Bayesian learning]] methods make use of a [[prior probability]] that (usually) gives lower probability to more complex models. Well-known model selection techniques include the [[Akaike information criterion]] (AIC), [[minimum description length]] (MDL), and the [[Bayesian information criterion]] (BIC). Alternative methods of controlling overfitting not involving regularization include [[cross-validation (statistics)|cross-validation]].
Examples of applications of different methods of regularization to the [[linear model]] are:
{|class="wikitable sortable"
!Modello!!Misura del fit!!Misura dell'entropia
!Model!!Fit measure!!Entropy measure
|-
|[[AkaikeCriterio informationinformativo criteriondi Akaike|AIC]]/[[BayesianCriterio informationinformativo criterionbayesiano|BIC]]||<math>\|Y-X\beta\|_2</math>||<math>\|\beta\|_0</math>
|-
|[[RidgeRegolarizzazione_di_Tichonov|Regressione regressiondi Ridge]] || <math>\|Y-X\beta\|_2</math> || <math>\|\beta\|_2</math>
|-
|[[Least_squares#LASSO_method|LassoMetodo LASSO]]<ref>{{Cite journal
| last = Tibshirani
| first = Robert
|<math>\|Y-X\beta\|_2</math>||<math>\|\beta\|_1</math>
|-
|[[''Basis pursuit denoising'']] || <math>\|Y-X\beta\|_2</math> || <math>\lambda\|\beta\|_1</math>
|-
|RLAD<ref>{{Cite conference
| <math>\|Y-X\beta\|_1</math> || <math>\|\beta\|_1</math>
|-
|DantzigSelettore Selectordi Dantzig<ref>{{Cite journal
| last = Candes
| first = Emmanuel | authorlink = Emmanuel Candès
|}
==NotesNote==
{{Reflist}}
==References Bibliografia ==
* A. Neumaier, Solving ill-conditioned and singular linear systems: A tutorial on regularization, SIAM Review 40 (1998), 636-666. AvailableDisponibile in [http://www.mat.univie.ac.at/~neum/ms/regtutorial.pdf pdf] fromal [http://www.mat.univie.ac.at/~neum/ author'ssito websiteweb dell'autore].
<nowiki>[[Categoria:Analisi numerica]]
[[Category:Mathematical analysis]]
[[Category:Inverse problems]]
[[de:Regularisierung]]
[[ru:Регуляризация (математика)]]
</nowiki>
| 