Includere file robots 
Autore: G. Sorry
Visite 1381,
Followers 1,
Condiviso 0
ciao a tutti
qualcuno mi spiegherebbe bene l'utilità di includere questo file?
migliora l'indicizzazzione del sito oppure no?
pro e contro ci sono?
grazie
Postato il
leggi qui:
http://www.motoricerca.info/robots.phtml
Seguo per conoscenza
Autore
scusate è normale che nel file robots ci sia la sitemap?
dal programma di default ci sono questi:
User-agent: *
Disallow: /admin
Disallow: /captcha
Disallow: /menu
Disallow: /imemail
ma se guardo da google webmaster mi mette anche la sitemap
Sitemap: http://www.miosito.it/sitemap.xml
... forse non non ho capito; la sitemap puoi ignorarla od aggiungerla al file robots.txt (che produrrai da te), (*); disattivarla invece risulterebbe controproducente...
(*) ... il file robots.txt dovrebbe essere una prerogativa della v.12_PRO...
.
ciao
User-agent: *
Disallow: /admin
Disallow: /captcha
Disallow: /menu
Disallow: /imemail
Disallow: /errore
Sitemap: http://www.nomesito.it/sitemap.xml
per completezza meglio inserirlo... è possibile tramite Search Console associare il Sitemap al sito in questione.
Autore
ciao, si con la 12 pro l ho attivata nel programma e tramite search control vedo questo:
User-agent: *
Disallow: /admin
Disallow: /captcha
Disallow: /menu
Disallow: /imemail
Sitemap: http://www.miosito.it/sitemap.xml
ma dal programma io l'ultima riga non la ho inserita, per quello che chiedevo se era normale
Autore
perché /errore ?
bisogna anche inserirlo?
... è normale, e meglio così, ...così verrà intercattata meglio dai robots ai fini SEO...
.
ciao
No errore fa parte di una esclusione del mio sito non va inserito
Autore
ok grazie a tutti
Autore
ho notato che se faccio su search console visualizza come google e poi recupera e visualizza, mi da un risultato parziale e mi scrive le risorse bloccate, sono delle immagini penso grafiche che sono appunto nella cartella /menu
normale anche questo?
...se hai messo
Disallow: /menu
come scritto sopra si ...
tutte le cartelle che elenchi con disallow le blocchi ai motori di ricerca
Autore
secondo te quindi conviene togliere quella cartella dal robots? oppure non fa nulla
...secondo un annuncio di Google di un annetto fa , bisognerebbe lasciare pieno accesso al sito, in particolare alle risorse CSS e al JS al loro motore di ricerca ...
Ti riporto la frase:
"se le risorse come JavaScript o CSS, in file separati, sono bloccate (ad esempio, col robots.txt) in modo che Googlebot non è in grado di recuperarle, i nostri sistemi di indicizzazione non saranno in grado di vedere il tuo sito come lo vede un utente medio. Consigliamo di consentire a Googlebot di recuperare JavaScript e CSS in modo che il contenuto possa essere indicizzato meglio. Ciò è particolarmente importante per i siti mobile, dove le risorse esterne come CSS e JavaScript aiutano i nostri algoritmi a capire se sono pagine ottimizzate per il mobile."
in menu ci sono solo le immagini del pulsanti del menu ...
...vedi tu ...
e non solo un anno fa, ogni tanti anche ora arriva l'avviso di google per non escludere i js e css3 ;)
l'annuncio è di un anno fa , ma effettivamente nelle segnalazioni del Google Webmaster Tools ogni tanto arrivano simili segnalazioni ... ma si sa Google è come il Grande Fratello ...
Autore
grazie per la spiegazione
Autore
oltre a quello del /menu mi blocca anche il codice di histats, ma penso sia normale o meglio rimuoverlo come script per tracciare le visite?