Protocollo di esclusione robot: differenze tra le versioni

Versione delle 01:26, 18 nov 2017

Versione delle 14:41, 8 feb 2019

Riga 1:

{{U|Robots Exclusion Standard|Tecnologie per il Web|febbraio 2019}}

{{F|software|luglio 2011}}

Il '''protocollo di esclusione robot''' indica, nel gergo di [[internet]] e più in generale del [[web]], le regole indicate dai gestori di un [[sito web]] ai [[crawler]] che lo visitano, chiedendo di applicare restrizioni di analisi sulle pagine del sito. Esse sono contenute nel file '''robots.txt''', ideato nel giugno [[1994]] con il consenso dei membri della robots mailing list (robots-request{{@}}nexor.co.uk). In questo momento non esiste un vero e proprio standard per il protocollo robots.