¿el websitex5 tiene el robot.txt ? 
Autor: Fernando Linares Felipe
Visitado 652,
Followers 3,
Compartido 0
buenas tardes quisiera saber si el websitex5 tiene el robot.txt y si no lo tiene como lo hago y donde lopongo gracias por su atencion
Publicado en
Perdona mi ignorancia para que es el robot.txt? gracias
Hola,
el file robots.txt es un archivo de texto que hay que cargar en el document root del sitio (osea la directory a la que corresponden los archivos de nuestro sitio) que da informaciones a los "spider" sobre los contenidos que hay que seguir para indicizarlos.
Si quieres saber algo mas, en internet seguramente hay muchas guias que te pueden ayudar.
Un Saludo!
Muchas gracias por tu amable respuesta la verdad no tenia idea de esto