Utente:Rbattistin/Sandbox2: differenze tra le versioni

Versione delle 20:17, 12 feb 2012

Versione delle 14:35, 13 feb 2012

Riga 10:

In statistica e in [[Apprendimento automatico|apprendimento automatico]], la regolarizzazione è utilizzata per prevenire l'[[overfitting]]. Tipici esempi di regolarizzazione nell'apprendimento automatico statistico includono la [[Regolarizzazione_di_Tichonov|regolarizzazione di Tichonov]], il cosiddetto metodo dei minimi quadrati LASSO (''Least Absolute Shrinkage and Selection Operator''), e la [[Norma_(matematica)|norma ''L''²]] nelle [[Macchine_a_vettori_di_supporto|macchine a vettori di supporto]].

I metodi di regolarizzazione sono impiegati anche per la selezione di modelli, dove il loro funzionamento è basato sull'implicita o esplicita penalizzazione del numero di parametri del modello. Per esempio, i metodi di [[Apprendimento_bayesiano|apprendimento bayesiano]] fanno uso di una probabilità a priori che (solitamente) attribuisce un valore di probabilità inferiore ai modelli più complessi. Ben note tecniche di selezione includono il criterio informativo di Akaike (AIC), la lunghezza di descrizione minima (MDL), e il criterio di informazione bayesiana (BIC). Metodi alternativi per controllare l'[[Overfitting|overfitting]] non coinvolgenti la regolarizzazione includono la [[Cross-validazione]].

Esempi di metodi differenti di regolarizzazione applicati al [[Modello_lineare|modello lineare]] sono:

Regularization methods are also used for model selection, where they work by implicitly or explicitly penalizing models based on the number of their parameters. For example, [[Bayesian model comparison|Bayesian learning]] methods make use of a [[prior probability]] that (usually) gives lower probability to more complex models. Well-known model selection techniques include the [[Akaike information criterion]] (AIC), [[minimum description length]] (MDL), and the [[Bayesian information criterion]] (BIC). Alternative methods of controlling overfitting not involving regularization include [[cross-validation (statistics)|cross-validation]].

Examples of applications of different methods of regularization to the [[linear model]] are:

{|class="wikitable sortable"

!Model!!Fit measure!!Entropy measure