Serve il file robots.txt? 
Autore: Silvia Venturi
Visite 830,
Followers 1,
Condiviso 20
Buongiorno, sto registrando il mio sito su vari motori di ricerca, così ho saputo che la scansione del sito viene indirizzata dal file robots.txt, senza questo file gli spider non indicizzano il sito. Il problema è che sul mio ftp ne nella roots ne nelle altre cartelle questo file non c'è! possibile che il software non lo genera automaticamente un file cosi importante? Grazie, silvia
Postato il
Buongiorno Silvia,
Il file robots.txt non è assolutamente indispensabile affinchè il sito venga indicizzato. E' un file di servizio utilizzato per indicare quali file o cartelle non devono essere indicizzati. Se ti interessa approfondire l'argomento, ti consiglio di leggere questa Wiki: http://it.wikipedia.org/wiki/Protocollo_di_esclusione_robot
Il file che è molto utile per l'indicizzazione è sitemap.xml e viene creato automaticamente da WSX5 quando esporti il tuo sito online.