WebSite X5Help Center

 
Peter L.
Peter L.
User

Datei robot.txt waybackmachine ausschliessen  de

Auteur : Peter L.
Visité 363, Followers 1, Partagé 0  

Hallo,

ich möchte gerne in der Datei robot.txt die suchmachine "waybackmachine" ausschliessen.

Wie ist hier das richtige Format ?

User-agent: ia_archiver
Disallow: /

so sieht meine robots.txt aktuell aus ( ohne das ich weiss, was die einzelnen disallow bedeuten :) ) 

User-agent: *
Disallow: /admin
Disallow: /captcha
Disallow: /imemail

Posté le
7 RéPONSES
Franz-Josef H.
Franz-Josef H.
Moderator

Die Datei heißt robots.txt. Nr der Vollständigkeit halber, da bei Deiner Angabe das s fehlt.
Die von Dir angegebenen Zeilen sind richtig.
Mit

User-agent: ia_archiver
Disallow: /

verbietest Du waybackmachine das crawlen aller Strukturen und Dateien und mit 

User-agent: *
Disallow: /admin
Disallow: /captcha
Disallow: /imemail

verbietest Du allen anderen das crawlen der angegebenen Verzeichnisse.

Lire plus
Posté le de Franz-Josef H.
Andreas S.
Andreas S.
Moderator
Meilleur utilisateur du mois DE

Was ist "waybackmaschine" eigentlich?  Eine Seite?  Ein Menüpunkt?  Ein Wort im Text?

Lire plus
Posté le de Andreas S.
Peter L.
Peter L.
User
Auteur

Danke für deine Antwort !

Also

User-agent: ia_archiver

OHNE: Disallow: / 

reicht ?

Also komplett:

User-agent: ia_archiver
Disallow: /admin
Disallow: /captcha
Disallow: /imemail

"waybackmaschine" ist brandgefährlich für alle die ihre Seiten löschen müssen, wenn sie nicht ganz "rechtskonform" sind. Abmahn-Anwälte stürzen sich gerne darauf und behauten die Seite sei ja noch im Netz auffindbar.

Google Cache und andere Suchmachinen Cache sind leicht zu löschen. Aber die wohltätige Stiftung der "waybackmaschine" sitzt in Kalifornieren (USA) und ist nur per email zu erreichen, auf welche in der Regel keine Reaktion erfolgt.

Ein Schelm, der da andere Machenschaften dahinter vermutet.................

Lire plus
Posté le de Peter L.
Franz-Josef H.
Franz-Josef H.
Moderator

Nein, so habe ich das aber nicht geschrieben. Lies mal den Beitrag nochmal. Du musst beides eintragen so wie es da steht. 

Lire plus
Posté le de Franz-Josef H.
Franz-Josef H.
Franz-Josef H.
Moderator

Woher hast Du denn eigentlich diese Info, dass Abmahn-Anwälte sich da bedienen? 

Lire plus
Posté le de Franz-Josef H.
Peter L.
Peter L.
User
Auteur

Ja sorry war für mich nicht so ganz klar was du meinst.

Also kann ich beliebig viele 

"User-agent: "  Anweisungen hintereinander setzen 

und

WesiteX5 gibt von Haus aus /admin /captcha /imemail nicht frei.

Meine robots.txt sieht jetzt so asu:

User-agent: ia_archiver
Disallow: /

User-agent: *
Disallow: /admin
Disallow: /captcha
Disallow: /imemail

Und woher ich die Info habe ?  Glaube mir - aus erster Hand :)

Und wenn du mir nicht glaubst - Google mal, da wird die Problematik erörtert.

Lire plus
Posté le de Peter L.