Algoritmo ID3: differenze tra le versioni

Versione delle 15:46, 2 apr 2019

Versione attuale delle 23:40, 22 nov 2023

(7 versioni intermedie di 6 utenti non mostrate)

Riga 1:

{{F|matematica|luglio 2017}}

'''ID3''' (''Iterative Dichotomiser 3'') risulta essere unoè degliun algoritmi[[algoritmo "storici"greedy]] per l'induzione di [[albero di decisione|alberi di decisione]].

Risulta un [[algoritmo greedy]] (in ogni momento fa la "mossa" che massimizza la "bontà" dell'albero).

== L'algoritmo ==

Line 21 ⟶ 20:

=== Pseudocodice ===

Viene qui riportato lo pseudocodice<ref>{{Cita libro|autore=Tom M- Mitchell|titolo=Machine Learning|anno=1997|url=https://archive.org/details/machinelearning0000mitc|dataoriginale=1 marzo 1997|editore=McGraw-Hill Science|lingua=inglese|ISBN=0070428077}}</ref> dell'algoritmo ID3 per [[Funzione booleana|funzioni booleane (i cui valori sono qui indicati semplicemente con "+" e "-")]].

<pre>

<syntaxhighlight>

Esempi:= istanze di addestramento.

Attributo_correnteAttributo_obiettivo:= l'attributo il cui valore viene predetto dall'albero.

Attributi:= lista di altri attributi.

ID3 (Esempi, Attributo_correnteAttributo_obiettivo, Attributi)

Crea un nodo Radice.

Se tutti gli esempi sono positivi

Line 34 ⟶ 33:

restituisci un albero con un unico nodo Radice ed etichetta = -

Se Attributi è vuoto

restituisci un albero con un unico nodo Radice ed etichetta = il valore delladi funzione obiettivoAttributo_obiettivo più comune tra le istanze di Esempi.

Altrimenti

A ← L'elemento di Attributi che riduce maggiormente l'entropia.

Line 41 ⟶ 40:

Esempi(v) ← sottoinsieme di Esempi che hanno valore v per A.

Se Esempi(v) è vuoto

Aggiungi una foglia con etichetta = valore obiettivodi Attributo_obiettivo più comune tra gli esempi.

Altrimenti

Aggiungi sotto Radice il sottoalbero ID3 (Esempi(v), AAttributo_obiettivo, Attributi – {A}).

Restituisci Radice.

</pre>

</syntaxhighlight>

=== Classi o distribuzioni di probabilità ===

Line 52 ⟶ 51:

=== Proprietà e limiti ===

ID3 restituisce un solo albero di decisione, consistente con il [[dataset]] passato in input. Non è garantito che tale soluzione sia l'unica né che sia quella ottima, in quanto ID3 può convergere anche a minimi locali: per ovviare a questo problema si può fare uso della tecnica di [[backtracking]], che tuttavia non compare nella formulazione originale dell'algoritmo.

Per prevenire, invece, il problema dell' [[overfitting]], si dovrebbe arrestare l'algoritmo prima che tutti gli attributi siano processati, preferendo come soluzioni alberi di decisione più piccoli. Un approccio alternativo, utilizzato nell'algoritmo C4.5 (il successore di ID3), è la tecnica del post-pruning: l'algoritmo non viene arrestato durante l'esecuzione, permettendo quindi anche l'overfitting, e solo al suo termine vengono applicate le regole di pruning (potatura) per migliorare la capacità di generalizzazione.

Un'altra difficoltà è data dalla gestione degli attributi a valore continuo, come i [[numero reale|numeri reali]]. ID3 non prevede nemmeno la possibilità di assegnare dei pesi agli attributi, né ammette attributi mancanti.

== Note ==

<references />

== Bibliografia ==

* {{cita pubblicazione|lingua=en|cognome=Quinlan|nome=John Ross|titolo=Semi-autonomous acquisition of pattern-based knowledge|anno=1980|url=https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=280e86067cad22814681434b559d7b1621fd5bd3|accesso=12 maggio 2023}}

== Voci correlate ==

* [[ClusteringAlbero di decisione]]

* [[Data cleaning]]

* [[Data warehouse]]

* [[Geodata warehouse]]

* [[Algoritmo]]

* [[Base di conoscenza]]

* [[Bonifica (informatica)]]

* [[Business intelligence]]

* [[Process mining]]

* [[Elaborazione dati]]

* [[Infografica]]

* [[Information retrieval]]

* [[Intelligenza competitiva]]

* [[Overfitting]]

{{Portale|matematica|statistica}}

[[Categoria:Data mining| ]]

[[Categoria:Algoritmi di classificazione|ID3]]