Protocollo di esclusione robot: differenze tra le versioni

Contenuto cancellato Contenuto aggiunto
Pil56-bot (discussione | contributi)
m Collegamenti esterni: smistamento lavoro sporco e fix vari
Riga 10:
 
== Formato del file ''robots.txt'' ==
* Il file utilizza un [[Protocollo di rete|protocollo]] molto semplice che permette di definire il robot al quale applicare la regola e le pagine e directory da non indicizzare.
 
Ogni riga del file contiene un record. Ogni record ha la seguente sintassi :