Bit: differenze tra le versioni
Contenuto cancellato Contenuto aggiunto
m →Bibliografia: Inserito anno di pubblicazione originale |
→Definizione: Nuova sezione |
||
Riga 9:
Complice delle occasionali confusioni tra bit e cifra binaria è anche il fatto che quest'ultima codifica esattamente 1 bit di informazione.
== Definizione ==
{{vedi anche|Autoinformazione|Teoria dell'informazione#Entropia}}
Il concetto di bit è stato introdotto nel 1948 da [[Claude Shannon]], fondando la [[teoria dell'informazione]].
Nel suo articolo "[[A Mathematical Theory of Communication]]" Shannon fissa il problema fondamentale della comunicazione come quello di riprodurre ad certo punto, in modo esatto oppure approssimativo che sia, un messaggio selezionato ad un altro punto.
In questo contesto egli evidenzia come l'aspetto significativo del problema dal punto di vista ingegneristico sia che il messaggio viene sempre selezionato da un set di possibili messaggi definito a priori. <ref>{{cita|Shannon 2001|p. 1}}</ref><br>
Da questa considerazione deriva l'intuizione della natura [[probabilità|probabilistica]] dell'[[incertezza]] e quindi, dualmente, dell'[[informazione]].
Dato il modello matematico di una sorgente di informazione discreta, risulta interessante poter [[misurazione|misurare]] e quindi definire una [[grandezza fisica|grandezza]] per quanta informazione viene emessa da questa.
Shannon affronta questo problema introducendo il concetto di [[quantità di informazione]], o anche entropia per via della similarità con alcune formulazioni del concetto di [[entropia|entropia in meccanica statistica]].
<ref>{{cita|Shannon 2001|pp. 9-14}}</ref><br>
<div align="center">
<math> H_b = -K\sum_{i=1}^n p_i \log_{b} p_i </math>
</div>
<small>Definizione dell'entropia. Convenzionalmente si assume <math>K=1</math> e <math>b=2</math>.</small>
<ref>
Il parametro <math>K</math> non ha significato intrinseco e viene proposto da Shannon come termine "ausiliario" per facilitare la definizione dell'unità di misura. ({{cita|Shannon 2001|p. 10}})<br>
Nella pratica non viene mai usato come parte della formula dell'entropia, ma compare spesso all'esterno come costante di conversione: ad esempio <math>K=1/8</math> per convertire da bit a [[byte]].
</ref>
<ref>
La scelta di <math>b=2</math> determina l'uso del bit come unità di misura. ({{cita|Shannon 2001|p. 1}})<br>
Sebbene Shannon ipotizzi anche l'uso di basi e quindi di unità alternative, la scelta del bit risulta particolarmente sensibile poiché ben si adatta all'uso oramai universale
della teoria dell'informazione applicata ai [[elettronica digitale|sistemi elettronici digitali]].
</ref>
Nell'articolo Shannon non fissa in modo prescrittivo una definizione precisa dell'unità di informazione. Tuttavia si può banalmente ricavare come [[corollario]] che ''1 bit è la quantità di informazione necessaria e sufficiente a rimuovere l'incertezza relativa al realizzarsi di uno tra due eventi equiprobabili e mutualmente esclusivi'', come ad esempio l'esito del lancio di una moneta.<ref>{{cita|Shannon 2001|p. 19}}</ref> In simboli:
<div align="center">
Sia <math> E = \{ e_1 , e_2 \}</math> una coppia di eventi indipendenti equiprobabili ( <math>p_i = 1/ 2</math> )
<math> H(E) = H(e_1) + H(e_2) = - \frac 1 2 \log_{2} \left( \frac 1 2 \right) - \frac 1 2 \log_{2} \left( \frac 1 2 \right) = 1\ bit </math>
</div>
==Come quantità di informazione==
| |||