Perplessità: differenze tra le versioni

Versione delle 13:45, 5 mar 2025

Versione delle 14:09, 5 mar 2025

Riga 7:

Essa è molto usata nell'[[apprendimento automatico]] e nella modellizzazione [[statistica]].

== DefinizioneDefinizioni ==

La ''perplessità'' <math>PP</math> di una distribuzione discreta <math>p</math> è definita come segue:

<math>\displaystyle {\rm PP}(p) \triangleq 2^{\mathbb{H}(p)} = 2^{-\sum_x p(x) \log_2 p(x)} = \prod_{x} p(x)^{-p(x)}</math>

dove <math>\mathbb{H}(p)</math> è l'entropia (in [[bit]]) della distribuzione e <math>x</math> varia su tutti gli eventi, i valori che una [[Variabile casuale|variabile aleatoria]] <math>X</math> con distribuzione <math>p</math> può assumere.

Si noti che la base del logaritmo non è necessariamente <math>2</math>, essendone la perplessità indipendente a patto che entropia ed esponenziale usino una stessa base.

Dato un insieme di dati <math>\cal D</math>, con la relativa [[distribuzione empirica]] <math>p_{\cal D}</math>, si può misurare quanto bene <math>p</math> predica <math>\cal D</math> come segue:

<math>\displaystyle {\rm PP}(p_\mathcal{D},p) \triangleq 2^{\mathbb{H}_{ce}(p)}</math>

dove <math>\mathbb{H}_{ce}</math> denota l'[[entropia incrociata]] delle due distribuzioni.

== Riferimenti ==