Hallo zusammen,
ich erlebe es des öfteren, dass meine Webseite gar nicht oder erst nach mehreren Sekunden aufrufbar ist. Im letzteren Fall erfolgt der Aufbau der einzelnen Seiten (sehr) langsam. Der Support meines Anbieters teilte mir mit, dass es an crwalern und KI bots liegen würde. Eine gut eingerichtete "robots.txt" Datei sollte dem Abhilfe schaffen. Nun, der Inhalt dieser Datei sieht bei mir wie folgt aus:
Nach meinem Verständnis müssten damit alle Webcrawler und KI Bots abgewiesen werden. Auch würde der Scan aller Unterverzeichnisse untersagt. Nur das Hauptverzeichnis darf gescannt werden bis auf die Dateien "a.php bis e.php". Ist das korrekt?
Gibt es evtl. noch andere Möglichkeiten, das ganze zu optimieren?
Vielen Dank im voraus für Eure Hilfe
ich erlebe es des öfteren, dass meine Webseite gar nicht oder erst nach mehreren Sekunden aufrufbar ist. Im letzteren Fall erfolgt der Aufbau der einzelnen Seiten (sehr) langsam. Der Support meines Anbieters teilte mir mit, dass es an crwalern und KI bots liegen würde. Eine gut eingerichtete "robots.txt" Datei sollte dem Abhilfe schaffen. Nun, der Inhalt dieser Datei sieht bei mir wie folgt aus:
Code:
User-agent: *
Disallow: /*/
Disallow: /a.php
Disallow: /b.php
Disallow: /c.php
Disallow: /d.php
Disallow: /e.phpNach meinem Verständnis müssten damit alle Webcrawler und KI Bots abgewiesen werden. Auch würde der Scan aller Unterverzeichnisse untersagt. Nur das Hauptverzeichnis darf gescannt werden bis auf die Dateien "a.php bis e.php". Ist das korrekt?
Gibt es evtl. noch andere Möglichkeiten, das ganze zu optimieren?
Vielen Dank im voraus für Eure Hilfe
