Paginas ocultas necesitan disallow en robots.txt 
Autore: Alfonso M.
Visite 936,
Followers 1,
Condiviso 0
El enunciado es ya la pregunta. quiero saber si al ocultar una pagina o nivel (incluyendose todas las paginas de ese nivel) es necesario para que no sean indexadas incluir en el archivo robots.txt la instruccion disallow de esas paginas ocultas.
Postato il
Buongiorno Alfonso,
puoi rendere le pagine del sito invisibili e protette, inoltre puoi modificare il robot.txt per far si che le pagina indicate non vangano indicizzate. Prova a cercare delle guide su come personalizzare il robot.txt.
***** Google Translation:
HolaAlfonso,
usted puede hacerlas páginas de lawebinvisible yprotegida,y usted puedecambiar elrobots.txtpara asegurarse deque la páginase indicavanganonoindexados.Trate de encontrarguías sobre cómopersonalizar elarchivo robots.txt.
pero no es eso lo que pregunto, se que se pueden ocultar y protegerl lo que quisiera saber, que ante la duda ya las he dejado en disallow, es si por defecto los robots no las leen.
Autore
si es necesario añadirla al robots, lo que se aprende en internet