Protocollo di esclusione robot: differenze tra le versioni

Versione delle 14:54, 10 feb 2014

Versione delle 15:10, 10 feb 2014

Riga 1:

{{F|software|luglio 2011}}

Il '''protocollo di esclusione robot''' indica, nel gergo di [[internet]] e più in generale del [[web]], le regole utilizzate dai [[crawler]] (detti anche ''spider'') per applicare restrizioni di analisi sulle pagine di un [[sito internetweb]].

Esso sono contenute nel file '''robots.txt''', ideato nel giugno [[1994]] con il consenso dei membri della robots mailing list ([e-mail]).

Riga 71:

* [[Indicizzazione (motore di ricerca)]]

* [[Motore di ricerca]]

* [[Sito web]]

== Collegamenti esterni ==