Informazione: differenze tra le versioni

Versione delle 18:25, 30 giu 2024

Versione delle 18:39, 30 giu 2024

Riga 95:

Secondo la [[Teoria dell'Informazione]] in una comunicazione, che avviene attraverso un dato [[alfabeto]] di simboli, l'informazione viene associata a ciascun simbolo trasmesso e viene definita come ''la riduzione di incertezza che si poteva avere a priori sul simbolo trasmesso''.

In particolare, la ''quantità di informazione'' collegata a un simbolo è definita come<br />

<br />

:<math> I = -\log_2 P_i</math>

<br />

dove ''<math>P_i</math>'' è la probabilità di trasmissione di quel simbolo. La quantità di informazione associata a un simbolo è misurata in [[bit]]. La quantità di informazione così definita è una variabile aleatoria discreta, il cui valor medio, tipicamente riferito alla sorgente di simboli, è detto [[Entropia (teoria dell'informazione)|entropia]] della sorgente, misurata in bit/simbolo. La velocità di informazione di una sorgente, che non coincide con la [[frequenza]] di emissione dei simboli, dato che non è detto che ogni simbolo trasporti un bit di informazione "utile", è il prodotto dell'entropia dei simboli emessi dalla sorgente per la frequenza di emissione di tali simboli (velocità di segnalazione).

Quanto sopra può essere generalizzato considerando che non è assolutamente obbligatorio che ogni simbolo sia codificato in maniera binaria (anche se questo è ciò che accade più spesso). Quindi l'informazione collegata a un simbolo codificato in base <math>a</math> è per definizione pari a<br />

<br />

:<math> I_a = -\log_a P_i</math>

<br />

con ''<math>P_i</math>'' pari alla probabilità di trasmissione associata a quel simbolo. L'[[Entropia (teoria dell'informazione)|entropia]] della sorgente è per definizione pari alla sommatoria, estesa a tutti i simboli della sorgente, dei prodotti tra la probabilità di ciascun simbolo e il suo contenuto informativo. Nei casi particolari in cui <math>a</math> sia 10 l'entropia della sorgente è misurata in [[hartley]], se invece <math>a</math> è pari al [[Numero di Eulero (fisica)|Numero di Eulero]] <math>e</math> si misura in [[nat (unità di misura)|nat]].

Dalla formula si evince che se la probabilità <math>P_i</math> di trasmettere il simbolo è pari a uno, la quantità di informazione associata è nulla; viceversa se nel caso limite ideale di <math>P_i = 0</math> la quantità di informazione sarebbe infinita. Ciò vuol dire in sostanza che tanto più un simbolo è probabile tanto meno informazione esso trasporta e viceversa: un segnale costante o uguale a se stesso non porta con sé alcuna nuova informazione essendo sempre il medesimo: si dice allora che l'informazione viaggia sotto forma di ''Innovazione''. I [[segnale (fisica)|segnali]] che trasportano informazione non sono dunque segnali deterministici, ma [[processo stocastico|processi stocastici]]. Nella [[teoria dei segnali]] e della trasmissione questa informazione affidata a processi aleatori è la [[modulazione|modulante]] (in ampiezza, fase o frequenza) di [[portante|portanti]] fisiche tipicamente sinusoidali che traslano poi in banda il segnale informativo.