Bit

Multipli del bit
Prefissi SI			Prefissi binari
Nome	Simbolo	Multipli	Nome	Simbolo	Multipli
chilobit	kbit	10³	kibibit	Kibit	2¹⁰
megabit	Mbit	10⁶	mebibit	Mibit	2²⁰
gigabit	Gbit	10⁹	gibibit	Gibit	2³⁰
terabit	Tbit	10¹²	tebibit	Tibit	2⁴⁰
petabit	Pbit	10¹⁵	pebibit	Pibit	2⁵⁰
exabit	Ebit	10¹⁸	exbibit	Eibit	2⁶⁰
zettabit	Zbit	10²¹	zebibit	Zibit	2⁷⁰
yottabit	Ybit	10²⁴	yobibit	Yibit	2⁸⁰

In informatica e nella teoria dell'informazione, il bit è l'unità standard di misura dell'entropia, meglio nota come quantità di informazione.

Il nome è una parola macedonia dei termini inglesi "binary" (binario) e "digit" (cifra).^[1] Per questo motivo il termine bit viene colloquialmente utilizzato come sinonimo di cifra binaria, che però formalmente è un concetto distinto.

Complice delle occasionali confusioni tra bit e cifra binaria è anche il fatto che quest'ultima codifica esattamente 1 bit di informazione.

Definizione

Il concetto di bit è stato introdotto nel 1948 da Claude Shannon, fondando la teoria dell'informazione.

Nel suo articolo "A Mathematical Theory of Communication" Shannon fissa il problema fondamentale della comunicazione come quello di riprodurre ad certo punto, in modo esatto oppure approssimativo che sia, un messaggio selezionato ad un altro punto. In questo contesto egli evidenzia come l'aspetto significativo del problema dal punto di vista ingegneristico sia che il messaggio viene sempre selezionato da un set di possibili messaggi definito a priori. ^[2]
Da questa considerazione deriva l'intuizione della natura probabilistica dell'incertezza e quindi, dualmente, dell'informazione.

Dato il modello matematico di una sorgente di informazione discreta, risulta interessante poter misurare e quindi definire una grandezza per quanta informazione viene emessa da questa. Shannon affronta questo problema introducendo il concetto di quantità di informazione, o anche entropia per via della similarità con alcune formulazioni del concetto di entropia in meccanica statistica. ^[3]

 $H_{b}=-K\sum _{i=1}^{n}p_{i}\log _{b}p_{i}$

Definizione dell'entropia. Convenzionalmente si assume $K=1$ e $b=2$ . ^[4] ^[5]

Nell'articolo Shannon non fissa in modo prescrittivo una definizione precisa dell'unità di informazione. Tuttavia si può banalmente ricavare come corollario che 1 bit è la quantità di informazione necessaria e sufficiente a rimuovere l'incertezza relativa al realizzarsi di uno tra due eventi equiprobabili e mutualmente esclusivi, come ad esempio l'esito del lancio di una moneta.^[6] In simboli:

Sia  $E=\{e_{1},e_{2}\}$  una coppia di eventi indipendenti equiprobabili (  $p_{i}=1/2$  )

 $H(E)=H(e_{1})+H(e_{2})=-{\frac {1}{2}}\log _{2}\left({\frac {1}{2}}\right)-{\frac {1}{2}}\log _{2}\left({\frac {1}{2}}\right)=1\ bit$

Come quantità di informazione

In questo contesto, un bit rappresenta l'unità di misura della quantità d'informazione.

Questo concetto di bit è stato introdotto dalla teoria dell'informazione di Claude Shannon nel 1948, ed è usato nel campo della compressione dati e delle trasmissioni numeriche.

Intuitivamente equivale alla scelta tra due valori (sì/no, vero/falso, acceso/spento) quando questi hanno la stessa probabilità di essere scelti. In generale, per eventi non necessariamente equiprobabili, la quantità d'informazione di un evento rappresenta la "sorpresa" nel constatare il verificarsi di tale evento; per esempio, se un evento è certo, il suo verificarsi non sorprende nessuno, quindi il suo contenuto informativo è nullo; se invece un evento è raro, il suo verificarsi è sorprendente, quindi il suo contenuto informativo è alto.

Matematicamente, la quantità d'informazione in bit di un evento è l'opposto del logaritmo in base due della probabilità di tale evento. La scelta del numero 2 come base del logaritmo è particolarmente significativa nel caso elementare di scelta tra due alternative (informazione di un bit), ma è possibile usare anche $e$ (numero di Nepero), usando dunque il logaritmo naturale; in tal caso l'unità di misura dell'informazione si dice "Nat".

Nel caso di due eventi equiprobabili, ognuno ha probabilità 0,5, e quindi la loro quantità di informazione è −log₂(0,5) = 1 bit.

Se un evento è impossibile la probabilità è zero, cioè la sua quantità di informazione è infinita.

Se un evento è certo, la sua probabilità è uno e la sua quantità di informazione è −log₂(1) = 0 bit.

Se ci sono due possibili eventi, uno con probabilità 25% e l'altro con probabilità 75%, il verificarsi del primo evento convoglia l'informazione di −log₂(0,25) = 2 bit, mentre il verificarsi del secondo evento convoglia l'informazione di −log₂(0,75) = ~0,415 bit.

Il contenuto informativo (o entropia) di un generatore di eventi (detto "sorgente") è la media statistica dei contenuti informativi di ogni possibile valore, ovvero la somma delle informazioni pesate per la probabilità del corrispondente valore.

Nel caso dei due valori con probabilità 25% e 75%, il contenuto informativo della sorgente è:

0,25 × (−log₂(0,25)) + 0,75 × (−log₂(0,75)) = ~0,811 bit.

Cioè la sorgente genera meno di un bit per ogni evento.

Nel caso di due eventi equiprobabili, si ha:

0,5 × (−log₂(0,5)) + 0,5 × (−log₂(0,5)) = 0,5 × 1 + 0,5 × 1 = 1 bit.

Cioè la sorgente genera esattamente un bit per ogni evento.

Come cifra binaria

In questo contesto il bit rappresenta l'unità di definizione di uno stato logico, definito anche unità elementare dell'informazione trattata da un elaboratore. La rappresentazione logica del bit è rappresentata dai soli valori {0, 1}. Ai fini della programmazione è comune raggruppare sequenze di bit in entità più vaste che possono assumere valori in intervalli assai più ampi di quello consentito da un singolo bit. Questi raggruppamenti contengono generalmente un numero di stringhe binarie pari a una potenza binaria, pari cioè a 2ⁿ; il più noto è il byte (chiamato anche ottetto), corrispondente a 8 bit, che costituisce l'unità di misura più utilizzata in campo informatico. Altri raggruppamenti di questo tipo sono i seguenti:

nibble 4 bit, la metà di un byte
word di lunghezza variabile, corrisponde a 16 o 32 o 64 bit a seconda del tipo di macchina.

(L'API di Windows definisce il tipo di dato WORD come un numero intero di 16 bit senza segno su tutte le piattaforme. Questa circostanza, unita alle normali esigenze di retrocompatibilità dei nuovi sistemi, fa sì che spesso la lunghezza di un word venga fissata pari a 16 bit indipendentemente dall'hardware.)

double word pari a 2 word (DWORD o LONGWORD)
quad word pari a 4 word (QWORD)
kibibyte 1024 byte, indicato con KiB
mebibyte 1024 kibibyte, indicato con MiB
gibibyte 1024 mebibyte, indicato con GiB
tebibyte 1024 gibibyte, indicato con TiB
pebibyte 1024 tebibyte, indicato con PiB
exbibyte 1024 pebibyte, indicato con EiB
zebibyte 1024 exbibyte, indicato con ZiB
yobibyte 1024 zebibyte, indicato con YiB

NB: Le espressioni word, double word e quad word vengono usate come tipo di dato in programmazione (prevalentemente in linguaggio assembly e in linguaggio C).

Note

^ Mackenzie 1980
^ Shannon 2001, p. 1
^ Shannon 2001, pp. 9-14
^ Il parametro $K$ non ha significato intrinseco e viene proposto da Shannon come termine "ausiliario" per facilitare la definizione dell'unità di misura. (Shannon 2001, p. 10)
Nella pratica non viene mai usato come parte della formula dell'entropia, ma compare spesso all'esterno come costante di conversione: ad esempio $K=1/8$ per convertire da bit a byte.
^ La scelta di $b=2$ determina l'uso del bit come unità di misura. (Shannon 2001, p. 1)
Sebbene Shannon ipotizzi anche l'uso di basi e quindi di unità alternative, la scelta del bit risulta particolarmente sensibile poiché ben si adatta all'uso oramai universale della teoria dell'informazione applicata ai sistemi elettronici digitali.
^ Shannon 2001, p. 19

Bibliografia

(EN) Claude Elwood Shannon, A mathematical theory of communication, in ACM SIGMOBILE Mobile Computing and Communications Review, vol. 5, n. 1, New York (NY, USA), Association for Computing Machinery, 1º gennaio 2001 [prima pubblicazione 1948], DOI:10.1145/584091.584093, ISSN 1559-1662 (WC · ACNP).
(EN) Charles E. Mackenzie, Coded Character Sets: History and Development, Addison-Wesley Publishing Company, 1980, ISBN 978-0-201-14460-4.

Voci correlate

Altri progetti

Wikizionario contiene il lemma di dizionario «bit»

Collegamenti esterni

bit, su Treccani.it – Enciclopedie on line, Istituto dell'Enciclopedia Italiana.
bit, su sapere.it, De Agostini.
bit, in Enciclopedia della Matematica, Istituto dell'Enciclopedia Italiana, 2013.
(EN) bit, su Enciclopedia Britannica, Encyclopædia Britannica, Inc.
(EN) Opere riguardanti bit, su Open Library, Internet Archive.
(EN) Eric W. Weisstein, Bit, su MathWorld, Wolfram Research.
(EN) Bit, su Encyclopaedia of Mathematics, Springer e European Mathematical Society.

Controllo di autorità	GND (DE) 4145760-2

Portale Informatica

Portale Metrologia

[Mackenzie_1980-1] Mackenzie 1980

[2] Shannon 2001, p. 1

[3] Shannon 2001, pp. 9-14

[4] Il parametro $K$ non ha significato intrinseco e viene proposto da Shannon come termine "ausiliario" per facilitare la definizione dell'unità di misura. (Shannon 2001, p. 10)
Nella pratica non viene mai usato come parte della formula dell'entropia, ma compare spesso all'esterno come costante di conversione: ad esempio $K=1/8$ per convertire da bit a byte.

[5] La scelta di $b=2$ determina l'uso del bit come unità di misura. (Shannon 2001, p. 1)
Sebbene Shannon ipotizzi anche l'uso di basi e quindi di unità alternative, la scelta del bit risulta particolarmente sensibile poiché ben si adatta all'uso oramai universale della teoria dell'informazione applicata ai sistemi elettronici digitali.

[6] Shannon 2001, p. 19

[1]

[2]

[3]

[4]

[5]

[6]