Bit

In informatica e nella teoria dell'informazione, il bit è l'unità standard di misura dell'entropia, meglio nota come quantità di informazione.

Il nome è una parola macedonia dei termini inglesi "binary" (binario) e "digit" (cifra).^[1] Per questo motivo il termine bit viene colloquialmente utilizzato come sinonimo di cifra binaria, che però formalmente è un concetto distinto.

Complice delle occasionali confusioni tra bit e cifra binaria è anche il fatto che quest'ultima codifica esattamente 1 bit di informazione.

Definizione

Il concetto di bit è stato introdotto nel 1948 da Claude Shannon, fondando la teoria dell'informazione.

Nel suo articolo "A Mathematical Theory of Communication" Shannon fissa il problema fondamentale della comunicazione come quello di riprodurre ad certo punto, in modo esatto oppure approssimativo che sia, un messaggio selezionato ad un altro punto. In questo contesto egli evidenzia come l'aspetto significativo del problema dal punto di vista ingegneristico sia che il messaggio viene sempre selezionato da un set di possibili messaggi definito a priori. ^[2]
Da questa considerazione deriva l'intuizione della natura probabilistica dell'incertezza e quindi, dualmente, dell'informazione.

Dato il modello matematico di una sorgente di informazione discreta, risulta interessante poter misurare e quindi definire una grandezza per quanta informazione viene emessa da questa. Shannon affronta questo problema introducendo il concetto di quantità di informazione, o anche entropia per via della similarità con alcune formulazioni del concetto di entropia in meccanica statistica. ^[3]

 $H_{b}=-K\sum _{i=1}^{n}p_{i}\log _{b}p_{i}$

Definizione dell'entropia. Convenzionalmente si assume $K=1$ e $b=2$ . ^[4] ^[5]

Nell'articolo Shannon non fissa in modo prescrittivo una definizione precisa dell'unità di informazione. Tuttavia si può banalmente ricavare come corollario che 1 bit è la quantità di informazione necessaria e sufficiente a rimuovere l'incertezza relativa al realizzarsi di uno tra due eventi equiprobabili e mutualmente esclusivi, come ad esempio l'esito del lancio di una moneta.^[6] In simboli:

Sia  $E=\{e_{1},e_{2}\}$  una coppia di eventi indipendenti equiprobabili (  $p_{i}=1/2$  )

 $H(E)=H(e_{1})+H(e_{2})=-{\frac {1}{2}}\log _{2}\left({\frac {1}{2}}\right)-{\frac {1}{2}}\log _{2}\left({\frac {1}{2}}\right)=1\ bit$

Interpretazione

Una quantità in bit può essere interpretata in 2 modi differenti: ^[7]

come misura dell'informazione intrinseca
come misura di incertezza ^[8]

Le due interpretazioni sono duali. Per esempio assumiamo di avere un dato la cui entropia è pari a $n$ bit:

Se il valore del dato non è conosciuto allora è ragionevole interpretare l'entropia come misura di incertezza: ovvero il valore del dato potrebbe essere uno qualsiasi in un set di dimensione $2^{n}$ . ^[9]

Per rimuovere completamente questa incertezza sarà necessario accertarsi del valore effettivo del dato, e cioè equivalentemente scegliere un singolo valore tra quelli possibili. Questa operazione implica ricevere $n$ bit di informazione. Alternativamente si può dire che il valore esatto "trasporta" ( o "possiede", o "rappresenta" ) $n$ bit di informazione.

Multipli e alternative

Multipli del bit
Prefissi SI			Prefissi binari
Nome	Simbolo	Multipli	Nome	Simbolo	Multipli
chilobit	kbit	10³	kibibit	Kibit	2¹⁰
megabit	Mbit	10⁶	mebibit	Mibit	2²⁰
gigabit	Gbit	10⁹	gibibit	Gibit	2³⁰
terabit	Tbit	10¹²	tebibit	Tibit	2⁴⁰
petabit	Pbit	10¹⁵	pebibit	Pibit	2⁵⁰
exabit	Ebit	10¹⁸	exbibit	Eibit	2⁶⁰
zettabit	Zbit	10²¹	zebibit	Zibit	2⁷⁰
yottabit	Ybit	10²⁴	yobibit	Yibit	2⁸⁰

Essendo il bit un'unità di scala relativamente piccola risulta spesso poco ergonomica nel descrivere le quantità di informazione con cui spesso si ha a che fare nel mondo reale. Specialmente se si considerano i continui sviluppi della tecnologia e dell'era dell'informazione. Per questo motivo si è soliti adottare unità derivate che a vario titolo meglio si adattano a determinati usi.

L'unità più utilizzata dal grande pubblico dopo la democratizzazione di internet è certamente il Byte con i suoi multipli. Questo è dovuto alla popolarità delle piattaforme PC orientate ai byte, che tuttora rappresentano la tipologia dominante.

Ambiti specialistici

Esistono ambiti in cui risulta comodo utilizzare multipli diretti del bit. E' il caso ad esempio dell'ingegneria delle telecomunicazioni e dei segnali più in generale.

Nel campo dell'architettura dei calcolatori è consuetudine utilizzare l'unità Word.

Come cifra binaria

In questo contesto il bit rappresenta l'unità di definizione di uno stato logico, definito anche unità elementare dell'informazione trattata da un elaboratore. La rappresentazione logica del bit è rappresentata dai soli valori {0, 1}. Ai fini della programmazione è comune raggruppare sequenze di bit in entità più vaste che possono assumere valori in intervalli assai più ampi di quello consentito da un singolo bit. Questi raggruppamenti contengono generalmente un numero di stringhe binarie pari a una potenza binaria, pari cioè a 2ⁿ; il più noto è il byte (chiamato anche ottetto), corrispondente a 8 bit, che costituisce l'unità di misura più utilizzata in campo informatico. Altri raggruppamenti di questo tipo sono i seguenti:

nibble 4 bit, la metà di un byte
word di lunghezza variabile, corrisponde a 16 o 32 o 64 bit a seconda del tipo di macchina.^[10]
double word pari a 2 word (DWORD o LONGWORD)
quad word pari a 4 word (QWORD)
kibibyte 1024 byte, indicato con KiB
mebibyte 1024 kibibyte, indicato con MiB
gibibyte 1024 mebibyte, indicato con GiB
tebibyte 1024 gibibyte, indicato con TiB
pebibyte 1024 tebibyte, indicato con PiB
exbibyte 1024 pebibyte, indicato con EiB
zebibyte 1024 exbibyte, indicato con ZiB
yobibyte 1024 zebibyte, indicato con YiB

NB: Le espressioni word, double word e quad word vengono usate come tipo di dato in programmazione (prevalentemente in linguaggio assembly e in linguaggio C).

Note

^ Mackenzie 1980
^ Shannon 2001, p. 1
^ Shannon 2001, pp. 9-14
^ Il parametro $K$ non ha significato intrinseco e viene proposto da Shannon come termine "ausiliario" per facilitare la definizione dell'unità di misura. (Shannon 2001, p. 10)
Nella pratica non viene mai usato come parte della formula dell'entropia, ma compare spesso all'esterno come costante di conversione: ad esempio $K=1/8$ per convertire da bit a byte.
^ La scelta di $b=2$ determina l'uso del bit come unità di misura. (Shannon 2001, p. 1)
Sebbene Shannon ipotizzi anche l'uso di basi e quindi di unità alternative, la scelta del bit risulta particolarmente sensibile poiché ben si adatta all'uso oramai universale della teoria dell'informazione applicata ai sistemi elettronici digitali.
^ Shannon 2001, p. 19
^ "Grandezze della forma $H=-\sum p_{i}\log p_{i}$ [...] giocano un ruolo centrale nella teoria dell'informazione come misure di informazione, scelta e incertezza". (Shannon 2001, p. 10)
^ Scelta ed incertezza sono misure equivalenti.
^ Shannon 2001, p. 1
^ L'API di Windows definisce il tipo di dato WORD come un numero intero di 16 bit senza segno su tutte le piattaforme. Questa circostanza, unita alle normali esigenze di retrocompatibilità dei nuovi sistemi, fa sì che spesso la lunghezza di un word venga fissata pari a 16 bit indipendentemente dall'hardware.

Bibliografia

(EN) Claude Elwood Shannon, A mathematical theory of communication, in ACM SIGMOBILE Mobile Computing and Communications Review, vol. 5, n. 1, New York (NY, USA), Association for Computing Machinery, 1º gennaio 2001 [prima pubblicazione 1948], DOI:10.1145/584091.584093, ISSN 1559-1662 (WC · ACNP).
(EN) Charles E. Mackenzie, Coded Character Sets: History and Development, Addison-Wesley Publishing Company, 1980, ISBN 978-0-201-14460-4.

Voci correlate

Altri progetti

Wikizionario contiene il lemma di dizionario «bit»

Collegamenti esterni

bit, su Treccani.it – Enciclopedie on line, Istituto dell'Enciclopedia Italiana.
bit, su sapere.it, De Agostini.
bit, in Enciclopedia della Matematica, Istituto dell'Enciclopedia Italiana, 2013.
(EN) bit, su Enciclopedia Britannica, Encyclopædia Britannica, Inc.
(EN) Opere riguardanti bit, su Open Library, Internet Archive.
(EN) Eric W. Weisstein, Bit, su MathWorld, Wolfram Research.
(EN) Bit, su Encyclopaedia of Mathematics, Springer e European Mathematical Society.

Controllo di autorità	GND (DE) 4145760-2

Portale Informatica

Portale Metrologia

[Mackenzie_1980-1] Mackenzie 1980

[2] Shannon 2001, p. 1

[3] Shannon 2001, pp. 9-14

[4] Il parametro $K$ non ha significato intrinseco e viene proposto da Shannon come termine "ausiliario" per facilitare la definizione dell'unità di misura. (Shannon 2001, p. 10)
Nella pratica non viene mai usato come parte della formula dell'entropia, ma compare spesso all'esterno come costante di conversione: ad esempio $K=1/8$ per convertire da bit a byte.

[5] La scelta di $b=2$ determina l'uso del bit come unità di misura. (Shannon 2001, p. 1)
Sebbene Shannon ipotizzi anche l'uso di basi e quindi di unità alternative, la scelta del bit risulta particolarmente sensibile poiché ben si adatta all'uso oramai universale della teoria dell'informazione applicata ai sistemi elettronici digitali.

[6] Shannon 2001, p. 19

[7] "Grandezze della forma $H=-\sum p_{i}\log p_{i}$ [...] giocano un ruolo centrale nella teoria dell'informazione come misure di informazione, scelta e incertezza". (Shannon 2001, p. 10)

[8] Scelta ed incertezza sono misure equivalenti.

[9] Shannon 2001, p. 1

[10] L'API di Windows definisce il tipo di dato WORD come un numero intero di 16 bit senza segno su tutte le piattaforme. Questa circostanza, unita alle normali esigenze di retrocompatibilità dei nuovi sistemi, fa sì che spesso la lunghezza di un word venga fissata pari a 16 bit indipendentemente dall'hardware.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]