Protocollo di esclusione robot: differenze tra le versioni

Versione delle 23:02, 1 mag 2013

Versione delle 00:07, 3 mag 2013

Riga 49:

Sitemap: http://www.example.com/sitemap.xml

Esiste, in aggiunta, la direttiva Crawl-Delay, supportata da alcuni [[crawler]], che permette di regolare il tempo di accesso dello [[spider]]. Indica il tempo di attesa in secondi tra due richieste.

Se, al posto dell'asterisco, si inserisce una stringa user-agent, nella direttiva User-Agent, le regole verranno limitate al [[crawler]] identificato da tale user-agent.