Utente:Rbattistin/Sandbox2: differenze tra le versioni

Versione delle 19:24, 12 feb 2012

Versione delle 19:55, 12 feb 2012

Riga 5:

Una giustificazione teorica per la regolarizzazione è quella per cui essa costituisce un tentativo di imporre il [[Rasoio_di_Occam|rasoio di Occam]] alla soluzione. Da un punto di vista [[Inferenza_bayesiana|bayesiano]], molte tecniche di regolarizzazione corrispondono ad imporre certe distribuzioni di [[Probabilità|probabilità a priori]] dei parametri del modello.

La medesima idea sorge in molti campi della [[scienza]]. Per esempio, il metodo dei [[Minimi_quadrati|minimi quadrati]] può essere visto come un forma veramente semplice di regolarizzazione. Una semplice forma di regolarizzazione applicata alle [[Equazioni_integrali|equazioni integrali]], generalmente detta regolarizzazione di Tikhonov dal nome di [[Andrej_Nikolaevič_Tichonov|Andrey Nikolayevich Tikhonov]], è costituita essenzialmente da un bilanciamento tra la [[regressione]] dei dati e una norma dipendente dalla soluzione. Più recentemente, metodi di regolarizzazione non lineare inclusa la regolarizzazione a variazione totale (''total variation regularization'') sono divenuti popolari.

==Regolarizzazione in statistica==

In statistica e in [[Apprendimento automatico|apprendimento automatico]], la regolarizzazione è utilizzata per prevenire l'[[overfitting]]. Tipici esempi di regolarizzazione nell'apprendimento automatico statistico includono la [[Regolarizzazione_di_Tichonov|regolarizzazione di Tichonov]], il cosiddetto metodo dei minimi quadrati LASSO (''Least Absolute Shrinkage and Selection Operator''), e la [[l2 norm|norma ''L''²]] nelle [[Macchine_a_vettori_di_supporto|macchine a vettori di supporto]].

The same idea arose in many fields of [[science]]. For example, the [[least-squares method]] can be viewed as a very simple form of regularization. A simple form of regularization applied to [[integral equation]]s, generally termed [[Tikhonov regularization]] after [[Andrey Nikolayevich Tikhonov]], is essentially a trade-off between fitting the data and reducing a norm of the solution. More recently, [[non-linear regularization]] methods, including [[total variation regularization]] have become popular.

== Regularization in statistics==