Protocollo di esclusione robot: differenze tra le versioni
Contenuto cancellato Contenuto aggiunto
→Esempi: inutile il riferimento (e link) agli spider, che sempre sinonimo di crawler è |
m →Collegamenti esterni: smistamento lavoro sporco e fix vari |
||
Riga 77:
* [http://www.robotstxt.org/db.html Lista dei nomi dei robot più famosi]
{{Portale|internet|tecnologia|telematica
[[Categoria:Tecnologie per il Web]]
| |||