Perplessità

In teoria dell'informazione, la perplessità è una misura dell'incertezza riguardo il valore di un campione tratto da una distribuzione di probabilità discreta.

È una misura di predicibilità legata all'entropia: maggiore la perplessità, meno probabile che un osservatore riesca a predire un valore estratto dalla distribuzione.

Il termine è stata proposto originariamente nel 1977 in un lavoro di F. Jelinek et al. sul riconoscimento vocale.

Essa è molto usata nell'apprendimento automatico e nella modellizzazione statistica.

Definizioni

La perplessità ${\displaystyle PP}$  di una distribuzione discreta ${\displaystyle p}$  è definita come segue:

${\displaystyle \displaystyle {\rm {PP}}(p)\triangleq 2^{\mathbb {H} (p)}=2^{-\sum _{x}p(x)\log _{2}p(x)}=\prod _{x}p(x)^{-p(x)}}$ 

dove ${\displaystyle \mathbb {H} (p)}$  è l'entropia (in bit) della distribuzione e ${\displaystyle x}$  varia su tutti gli eventi, i valori che una variabile aleatoria ${\displaystyle X}$  con distribuzione ${\displaystyle p}$  può assumere.

Si noti che la base del logaritmo non è necessariamente ${\displaystyle 2}$ , essendone la perplessità indipendente a patto che entropia ed esponenziale usino una stessa base.

Dato un insieme di dati ${\displaystyle {\cal {D}}}$ , con la relativa distribuzione empirica ${\displaystyle p_{\cal {D}}}$ , si possono misurare le qualità predittive di ${\displaystyle p}$  su ${\displaystyle {\cal {D}}}$  mediante la seguente definizione della perplessità:

${\displaystyle \displaystyle {\rm {PP}}(p_{\mathcal {D}},p)\triangleq 2^{\mathbb {H} _{ce}(p)}}$ 

dove ${\displaystyle \mathbb {H} _{ce}}$  denota l'entropia incrociata delle due distribuzioni.

Riferimenti

• Jelinek, F.; Mercer, R. L.; Bahl, L. R.; Baker, J. K. (1977). "Perplexity—a measure of the difficulty of speech recognition tasks". The Journal of the Acoustical Society of America. 62 (S1): S63. bibcode:1977ASAJ...62Q..63J. doi:10.1121/1.2016299. ISSN 0001-4966.