Robots.txt

[Beatitude]

Hallo,

hab letzte Woche mit robots.txt versucht alle Suchmaschinen daran zu hindern, meine Seite zu finden:

User-agent: *
Disallow: /

Wie lange dauert es, bis es Wirkung zeigt?
PS: Meine Seite gibt es seit 1 1/2 Jahren, wenn das hilft.

 

[threadi]

Kann schon einige Wochen oder Monate dauern, je nachdem wie oft die Bots bei dir vorbeischauen, was wiederum davon abhängig davon ist, welche Bedeutung aus Sicht der Bots deine Seite im Internet hat. Ein passender HTTP-Status könnte auch noch hilfreich sein.
HTTP-Statuscodes - Webmaster-Tools-Hilfe

 

[Beatitude]

Hey,

erstmal Danke für die Hilfe.
Hab mich ein bisschen bei Google schlau gemacht, aber das mit dem HTTP-Status dann doch nicht ganz gerafft. Gibt es noch andere Möglichkeiten, Google zeitnah daran zu hindern meine Website zu crawlen?

LG

 

[mermshaus]

Willkommen im Forum.

Das Problem besteht nicht darin, Suchmaschinen zu hindern, deine Seite zu crawlen (das erledigt die robots.txt-Datei). Das Problem ist, dass die Suchmaschine unter Umständen erst nach einiger Zeit wieder bei dir vorbeikommt und feststellt, dass die Seiten nicht weiterhin im Index vorhanden sein sollen. Dann kann es noch weitere Zeit dauern, bis der Index entsprechend aktualisiert ist. (Wie das genau funktioniert, weiß letztlich wohl nur der Suchmaschinenbetreiber.)

Lies vielleicht mal das hier:

- Remove a page or site from Google's search results - Webmaster Tools Help