Robots.txt ist unterschiedlich bei X5 und bei Testprogramm 
Autor: Paul H.
Besucht 348,
Followers 1,
Geteilt 0
Hallo,
bitte um Kommentar, warum die in X5 sichtbare robots.txt anders ist, als eine robots.txt vom Tester (siehe Bild).
X5 robots.txt :
User-agent: *
Disallow: /admin
Disallow: /captcha
Disallow: /imemail
robots.txt vom Testprogramm :
Was bedeutet das ? Ist das ein Problem??
Danke euch !
Paul
Gepostet am
WebsiteX5 ergänzt die robots.txt noch um die Angabe der Sitemap, als Hinweis für die Suchmaschinen und damit diese schneller von den Suchmaschinen gefunden werden kann. Das ist kein Problem sondern sehr hilfreich.
Autor
Danke