Utente:Rbattistin/Sandbox2: differenze tra le versioni

Versione delle 19:55, 12 feb 2012

Versione delle 20:05, 12 feb 2012

Riga 8:

==Regolarizzazione in statistica==

In statistica e in [[Apprendimento automatico|apprendimento automatico]], la regolarizzazione è utilizzata per prevenire l'[[overfitting]]. Tipici esempi di regolarizzazione nell'apprendimento automatico statistico includono la [[Regolarizzazione_di_Tichonov|regolarizzazione di Tichonov]], il cosiddetto metodo dei minimi quadrati LASSO (''Least Absolute Shrinkage and Selection Operator''), e la [[l2 normNorma_(matematica)|norma ''L''²]] nelle [[Macchine_a_vettori_di_supporto|macchine a vettori di supporto]].

I metodi di regolarizzazione sono impiegati anche per la selezione di modelli, dove il loro funzionamento è basato sull'implicita o esplicita penalizzazione del numero di parametri del modello. Per esempio, i metodi di [[Apprendimento_bayesiano|apprendimento bayesiano]] fanno uso di una probabilità a priori che (solitamente) attribuisce un valore di probabilità inferiore ai modelli più complessi.

== Regularization in statistics==

In statistics and machine learning, regularization is used to prevent [[overfitting]]. Typical examples of regularization in statistical machine learning include [[ridge regression]], [[Least squares#LASSO method|lasso]], and [[l2 norm|''L''²-norm]] in [[support vector machines]].

Regularization methods are also used for model selection, where they work by implicitly or explicitly penalizing models based on the number of their parameters. For example, [[Bayesian model comparison|Bayesian learning]] methods make use of a [[prior probability]] that (usually) gives lower probability to more complex models. Well-known model selection techniques include the [[Akaike information criterion]] (AIC), [[minimum description length]] (MDL), and the [[Bayesian information criterion]] (BIC). Alternative methods of controlling overfitting not involving regularization include [[cross-validation (statistics)|cross-validation]].