Bit: differenze tra le versioni

Versione delle 08:15, 17 lug 2023

Versione delle 18:31, 18 lug 2023

Riga 44:

<math> H(E) = H(e_1) + H(e_2) = - \frac 1 2 \log_{2} \left( \frac 1 2 \right) - \frac 1 2 \log_{2} \left( \frac 1 2 \right) = 1\ bit </math>

</div>

= Interpretazione =

Una quantità in bit può essere interpretata in 2 modi differenti:

<ref>

"Grandezze della forma <math>H = -\sum p_i \log p_i</math> [...] giocano un ruolo centrale nella teoria dell'informazione come misure di informazione, scelta e incertezza".

({{cita|Shannon 2001|p. 10}})

</ref>

* come misura dell'[[autoinformazione|informazione intrinseca]]

* come misura di [[incertezza]] <ref>Scelta ed incertezza sono misure equivalenti.</ref>

Le due interpretazioni sono duali.

Per esempio assumiamo di avere un [[dato]] la cui entropia è pari a <math>n</math> bit:

Se il valore del dato non è conosciuto allora è ragionevole interpretare l'entropia come misura di incertezza: ovvero il valore del dato potrebbe essere uno qualsiasi in un set di dimensione <math>2^n</math>. <ref>{{cita|Shannon 2001|p. 1}}</ref>

Per rimuovere completamente questa incertezza sarà necessario accertarsi del valore effettivo del dato, e cioè equivalentemente scegliere un singolo valore tra quelli possibili.

Questa operazione implica ricevere <math>n</math> bit di informazione.

Alternativamente si può dire che il valore esatto "[[autoinformazione|trasporta]]" ( o "possiede", o "rappresenta" ) <math>n</math> bit di informazione.

<!--