Bit: differenze tra le versioni

Versione delle 23:41, 2 ago 2023

Versione delle 13:34, 4 set 2023

Riga 6:

In [[informatica]] e nella [[teoria dell'informazione]], il '''bit''' è l'unità standard di misura dell'entropia, meglio nota come [[quantità di informazione]].

Il nome è una [[parola macedonia]] dei termini inglesi "'''bi'''nary" (binario) e "digi'''t'''" (cifra).<ref name="Mackenzie 1980">{{cita|Mackenzie 1980}}.</ref>

Per questo motivo il termine bit viene colloquialmente utilizzato come sinonimo di [[sistema numerico binario|cifra binaria]], che però formalmente è un concetto distinto.

Riga 17:

Nel suo articolo "[[A Mathematical Theory of Communication]]" Shannon fissa il problema fondamentale della comunicazione come quello di riprodurre ad certo punto, in modo esatto oppure approssimativo che sia, un messaggio selezionato ad un altro punto.

In questo contesto egli evidenzia come l'aspetto significativo del problema dal punto di vista ingegneristico sia che il messaggio viene sempre selezionato da un set di possibili messaggi definito a priori. <ref name="cita shannon 2001 p.1">{{cita|Shannon 2001|p. 1}}.</ref><br>

Da questa considerazione deriva l'intuizione della natura [[probabilità|probabilistica]] dell'[[incertezza]] e quindi, dualmente, dell'[[informazione]].

Dato il modello matematico di una sorgente di informazione discreta, risulta interessante poter [[misurazione|misurare]] e quindi definire una [[grandezza fisica|grandezza]] per quanta informazione viene emessa da questa.

Shannon affronta questo problema introducendo il concetto di [[quantità di informazione]], o anche entropia per via della similarità con alcune formulazioni del concetto di [[entropia|entropia in meccanica statistica]].

<ref>{{cita|Shannon 2001|pp. 9-14}}.</ref><br>

<div align="center">

Riga 38:

</ref>

Nell'articolo Shannon non fissa in modo prescrittivo una definizione precisa dell'unità di informazione. Tuttavia si può banalmente ricavare come [[corollario]] che ''1 bit è la quantità di informazione necessaria e sufficiente a rimuovere l'incertezza relativa al realizzarsi di uno tra due eventi equiprobabili e mutualmente esclusivi'', come ad esempio l'esito del lancio di una moneta.<ref>{{cita|Shannon 2001|p. 19}}.</ref> In simboli:

<div align="center">

Riga 55:

* come misura dell'[[autoinformazione|informazione intrinseca]]

* come misura di [[incertezza]] <ref>Scelta ed incertezza sono misure equivalenti.</ref>

Le due interpretazioni sono duali.

Per esempio assumiamo di avere un [[dato]] la cui entropia è pari a <math>n</math> bit:

Se il valore del dato non è conosciuto allora è ragionevole interpretare l'entropia come misura di incertezza: ovvero il valore del dato potrebbe essere uno qualsiasi in un set di dimensione <math>2^n</math>. <ref name="cita shannon 2001 p.1"/>

Per rimuovere completamente questa incertezza sarà necessario accertarsi del valore effettivo del dato, e cioè equivalentemente scegliere un singolo valore tra quelli possibili.<ref name="cita shannon 2001 p.1"/>