Protocollo di esclusione robot: differenze tra le versioni

Versione delle 14:49, 13 mag 2016

Versione delle 15:17, 18 mag 2016

Riga 1:

{{F|software|luglio 2011}}

Il '''protocollo di esclusione robot''' indica, nel gergo di [[internet]] e più in generale del [[web]], le regole utilizzateindicate dai gestori di un [[sito web]] ai [[crawler]] perche lo visitano, chiedendo di applicare restrizioni di analisi sulle pagine di undel [[sito web]].

Esse sono contenute nel file '''robots.txt''', ideato nel giugno [[1994]] con il consenso dei membri della robots mailing list (robots-request{{@}}nexor.co.uk).

Riga 7:

== Il ruolo dei ''crawler'' ==

I web crawler sono dei [[software]] automatici programmati per effettuare ricerche ed indicizzazioni periodiche. Nella prima fase di analisi di un sito web controllanodovrebbero controllare l'esistenza del file robots.txt pered applicare eventuali restrizioni richieste dal webmaster del sito. Non tutti i robot però ottemperano alle richieste contenute nel file robot.txt.

== Formato del file ''robots.txt'' ==