Utente:Rbattistin/Sandbox2: differenze tra le versioni

Versione delle 22:58, 13 feb 2012

Versione attuale delle 22:19, 14 feb 2012

(13 versioni intermedie di 4 utenti non mostrate)

Riga 1:

=Regolarizzazione (matematica)=

In [[matematica]] e [[statistica]], particolarmente nei campi dell'[[Apprendimento_automatico|apprendimento automatico]] e dei [[Problema_inverso|problemi inversi]], la '''regolarizzazione''' implicaconsiste lnell'introduzione di ulterioreulteriori informazioni o condizioni di informazioneregolarità allo scopo di risolvere un [[problema mal condizionato]] o per prevenire l'[[Overfitting|overfitting]]. TaleLe informazionetecniche èpiù solitamentecomuni nellaper formala soluzione di tali problemi prevedono una penalità''penalizzazione'' per complessità,le talesoluzioni come''poco unaregolari'', restrizionead suesempio unaconsiderando funzionesolo [[Funzione_liscia|funzionefunzioni liscialisce]] o imponendo una limitazione sulla loro [[Spazio_normatoNorma (matematica)|norma]] diin unoun opportuno [[Spazio_normato|spazio vettoriale]].

Una giustificazione teorica per la regolarizzazione è quella per cui essa costituisce un tentativo di imporre il [[Rasoio_di_Occam|rasoio di Occam]] alla soluzione. Da un punto di vista [[Inferenza_bayesiana|bayesiano]], molte tecniche di regolarizzazione corrispondono ad imporre certe distribuzioni di [[Probabilità|probabilità a priori]] dei parametri del modello.

LaIl medesimamedesimo ideaapproccio sorgeviene seguito in molti campi della [[scienza]]. Per esempio, il metodo dei [[Minimi_quadrati|minimi quadrati]] può essere visto come un forma veramentemolto semplice di regolarizzazione. Una semplice forma di regolarizzazione applicata alle [[Equazioni_integrali|equazioni integrali]], generalmente detta regolarizzazione di Tikhonov dal nome di [[Andrej_Nikolaevič_Tichonov|Andrey Nikolayevich Tikhonov]], è costituita essenzialmente da un bilanciamento tra la [[regressione]] dei dati e una norma dipendente dalla soluzione. Più recentemente, metodi di regolarizzazione non lineare inclusa la regolarizzazione a variazione totale (''total variation regularization'') sono divenuti popolari.

==Regolarizzazione in statistica==

In statistica e in [[Apprendimento automatico|apprendimento automatico]], la regolarizzazione è utilizzata per prevenire l'[[overfitting]]. Tipici esempi di regolarizzazione nell'apprendimento automatico statistico includono la [[Regolarizzazione_di_Tichonov|regolarizzazione di Tichonov]], il cosiddetto metodo dei minimi quadrati LASSO (''Least Absolute Shrinkage and Selection Operator''), e la [[Norma_(matematica)|norma ''L''²]] nelle [[Macchine_a_vettori_di_supporto|macchine a vettori di supporto]].

I metodi di regolarizzazione sono impiegati anche per la selezione di modelli, dove il loro funzionamento è basato sull'implicita o esplicita penalizzazione del numero di parametri del modello. Per esempio, i metodi di [[Apprendimento_bayesiano|apprendimento bayesiano]] fanno uso di una probabilità a priori che (solitamente) attribuisce un valore di probabilità inferiore ai modelli più complessi. Tecniche ben note di selezione includono il [[Test_di_verifica_delle_informazioni_di_Akaike|criterio informativo di Akaike]] (''Akaike information criterion'', AIC), la lunghezza di descrizione minimaminimale (''minimum description length'', MDL), e il criterio informativo bayesiano (''Bayesianbayesian information criterion'', BIC). Metodi alternativi per controllare l'[[Overfitting|overfitting]] non coinvolgenti la regolarizzazione includono la [[Cross-validazione]].

Esempi di metodi differenti di regolarizzazione applicati al [[Modello_lineare|modello lineare]] sono:

Riga 18:

|[[Criterio informativo di Akaike|AIC]]/[[Criterio informativo bayesiano|BIC]]||<math>\|Y-X\beta\|_2</math>||<math>\|\beta\|_0</math>

|-

|[[RidgeRegolarizzazione_di_Tichonov|Regressione regressiondi Ridge]] || <math>\|Y-X\beta\|_2</math> || <math>\|\beta\|_2</math>

|-

|[[Least_squares#LASSO_method|LassoMetodo LASSO]]<ref>{{Cite journal

| last = Tibshirani

| first = Robert

Riga 36:

|<math>\|Y-X\beta\|_2</math>||<math>\|\beta\|_1</math>

|-

|[[''Basis pursuit denoising'']] || <math>\|Y-X\beta\|_2</math> || <math>\lambda\|\beta\|_1</math>

|-

|RLAD<ref>{{Cite conference

Riga 49:

| <math>\|Y-X\beta\|_1</math> || <math>\|\beta\|_1</math>

|-

|DantzigSelettore Selectordi Dantzig<ref>{{Cite journal

| last = Candes

| first = Emmanuel | authorlink = Emmanuel Candès

Riga 66:

|}

==NotesNote==

{{Reflist}}

==References Bibliografia ==

* A. Neumaier, Solving ill-conditioned and singular linear systems: A tutorial on regularization, SIAM Review 40 (1998), 636-666. AvailableDisponibile in [http://www.mat.univie.ac.at/~neum/ms/regtutorial.pdf pdf] fromal [http://www.mat.univie.ac.at/~neum/ author'ssito websiteweb dell'autore].

<nowiki>[[Categoria:Analisi numerica]]

[[Category:Analisi matematica]]

[[Category:Problema inverso]]

[[de:Regularisierung]]

[[ru:Регуляризация (математика)]]

</nowiki>