Utente:Rbattistin/Sandbox2: differenze tra le versioni

Versione delle 19:10, 12 feb 2012

Versione delle 19:24, 12 feb 2012

Riga 3:

In [[matematica]] e [[statistica]], particolarmente nei campi dell'[[Apprendimento_automatico|apprendimento automatico]] e dei [[Problema_inverso|problemi inversi]], la '''regolarizzazione''' implica l'introduzione di ulteriore informazione allo scopo di risolvere un [[problema mal condizionato]] o per prevenire l'[[Overfitting|overfitting]]. Tale informazione è solitamente nella forma di una penalità per complessità, tale come una restrizione su una funzione [[Funzione_liscia|funzione liscia]] o una limitazione sulla [[Spazio_normato|norma di uno spazio vettoriale]].

Una giustificazione teorica per la regolarizzazione è quella per cui essa costituisce un tentativo di imporre il [[Rasoio_di_Occam|rasoio di Occam]] alla soluzione. Da un punto di vista [[Inferenza_bayesiana|bayesiano]], molte tecniche di regolarizzazione corrispondono ad imporre certe distribuzioni di [[Probabilità|probabilità a priori]] dei parametri del modello.

particularly in the fields of [[machine learning]] and [[inverse problem]]s, '''regularization''' involves introducing additional information in order to solve an [[ill-posed problem]] or to prevent [[overfitting]]. This information is usually of the form of a penalty for complexity, such as restrictions for [[smooth function|smoothness]] or bounds on the [[normed vector space|vector space norm]].

A theoretical justification for regularization is that it attempts to impose [[Occam's razor]] on the solution. From a [[Bayesian inference|Bayesian]] point of view, many regularization techniques correspond to imposing certain [[prior probability|prior]] distributions on model parameters.

The same idea arose in many fields of [[science]]. For example, the [[least-squares method]] can be viewed as a very simple form of regularization. A simple form of regularization applied to [[integral equation]]s, generally termed [[Tikhonov regularization]] after [[Andrey Nikolayevich Tikhonov]], is essentially a trade-off between fitting the data and reducing a norm of the solution. More recently, [[non-linear regularization]] methods, including [[total variation regularization]] have become popular.