Perplessità: differenze tra le versioni

Versione delle 13:45, 5 mar 2025

Versione attuale delle 19:42, 6 ago 2025

(4 versioni intermedie di 3 utenti non mostrate)

Riga 1:

{{O|statistica|aprile 2025}}

In [[Teoriateoria dell'informazione]], la '''perplessità''' è una [[Misura (matematica)|misura]] dell'[[incertezza]] riguardo ilal valore di un campione tratto da una [[distribuzione di probabilità]] discreta.

È una misura di ''predicibilità'' legata all'[[Entropia (teoria dell'informazione)|entropia]]: maggiore la perplessità, meno probabile che un osservatore riesca a predire un valore estratto dalla distribuzione.

Riga 7 ⟶ 8:

Essa è molto usata nell'[[apprendimento automatico]] e nella modellizzazione [[statistica]].

== DefinizioneDefinizioni ==

La ''perplessità'' <math>PP</math> di una distribuzione discreta <math>p</math> è definita come segue:

<math>\displaystyle {\rm PP}(p) \triangleq 2^{\mathbb{H}(p)} = 2^{-\sum_x p(x) \log_2 p(x)} = \prod_{x} p(x)^{-p(x)}</math>

dove <math>\mathbb{H}(p)</math> è l'entropia (in [[bit]]) della distribuzione e <math>x</math> varia su tutti gli eventi, i valori che una [[Variabile casuale|variabile aleatoria]] <math>X</math> con distribuzione <math>p</math> può assumere.

Si noti che la base del logaritmo non è necessariamente <math>2</math>, essendone la perplessità indipendente a patto che entropia ed esponenziale usino una stessa base.

Dato un insieme di dati <math>\cal D</math>, con la relativa [[Funzione di ripartizione empirica|distribuzione empirica]] <math>p_{\cal D}</math>, si possono misurare le qualità predittive di <math>p</math> su <math>\cal D</math> mediante la seguente definizione della ''perplessità'':

<math>\displaystyle {\rm PP}(p_\mathcal{D},p) \triangleq 2^{\mathbb{H}_{ce}(p)}</math>

dove <math>\mathbb{H}_{ce}</math> denota l'[[entropia incrociata]] delle due distribuzioni.

== Riferimenti ==