Robots.txt 
Autor: Michael G.
Besucht 781,
Followers 1,
Geteilt 0
Hallo,
vielleicht kann mir jemand helfen.
Im Programm kann man ja eine robots.txt erstellen.
Das hier steht bei mir drin. Ist das so richtig? Oder was sollte weg bzw. dazu?
Denn Google kann meine Homepage nicht indexieren
Gepostet am
Der Inhalt der robots.txt sieht richtig aus. Deine Website ist mit fast 50 Seiten im Google vertreten. Wie lautet denn der Hinweis oder die Fehlermeldung bei Google bzw woher kommt die Annahme das Google nicht Indexierung kann?
Autor
Wenn ich in der Google Search Console bin und dort meine Seite eingebe zum testen, dann kommt die Meldung ist nicht indexiert.
In der robot.txt gehört eigentlich nicht das mit der sitemap.xml rein. Dort werden Dinge "ausgeschlossen" von Google und nicht aktiviert. MAnche wollen nicht, dass es automatisch indexiert wird und geben es dort rein.
Jedenfalls kann ich im Google-Suchfeld
site:zeltsysteme-goebel.de
eingeben und erhalte dort die Anzeige der ca. 50 Seiten.
Normalerweise muss man im robots.txt nur Zeilen einfügen wenn man etwas ausschließen will, oder etwas gesperrtes wieder erlauben will. Eine zusätzliche Zeile mit der sitemap ist hier nicht üblich. Ausser man hat keinen Zugriff auf die Search Console der eigenen Seite wo man die sitemap sowieso hochladen sollte.
Es gibt auch einen eigenen Tester für die robots.txt Datei in der Search Console wenn man den Googlebot schneller drüber schicken will.
https://support.google.com/webmasters/answer/6062598?hl=de