Wikipedia

Protocollo di esclusione robot: differenze tra le versioni

Naviga nella cronologia in modo interattivo
← Differenza precedenteDifferenza successiva →
Contenuto cancellato Contenuto aggiunto
VisualeWikitesto
FrescoBot (discussione | contributi)
Bot
3 584 790 modifiche
m Bot: manutenzione template portale e modifiche minori
→Esempi: inutile il riferimento (e link) agli spider, che sempre sinonimo di crawler è
Riga 49:
Sitemap: http://www.example.com/sitemap.xml
 
Esiste, in aggiunta,inoltre la direttiva Crawl-Delay, supportata da alcuni [[crawler]], che permette di regolarelimitare illa tempovelocità di accesso delloal [[spider]].server Indicada parte dei crawler che la supportano, indicando il minimo tempo di attesa, in secondi, tra due richieste consecutive.
 
Se, al posto dell'asterisco, si inserisce una stringa user-agent, nella direttiva User-Agent, le regole verranno limitate al [[crawler]] identificato da tale user-agent.
Estratto da "https://it.wikipedia.org/wiki/Protocollo_di_esclusione_robot"