"Robots.txt" optimal einstellen

[joergi]

Hallo zusammen,

ich erlebe es des öfteren, dass meine Webseite gar nicht oder erst nach mehreren Sekunden aufrufbar ist. Im letzteren Fall erfolgt der Aufbau der einzelnen Seiten (sehr) langsam. Der Support meines Anbieters teilte mir mit, dass es an crwalern und KI bots liegen würde. Eine gut eingerichtete "robots.txt" Datei sollte dem Abhilfe schaffen. Nun, der Inhalt dieser Datei sieht bei mir wie folgt aus:

User-agent: *
Disallow: /*/
Disallow: /a.php
Disallow: /b.php
Disallow: /c.php
Disallow: /d.php
Disallow: /e.php

Nach meinem Verständnis müssten damit alle Webcrawler und KI Bots abgewiesen werden. Auch würde der Scan aller Unterverzeichnisse untersagt. Nur das Hauptverzeichnis darf gescannt werden bis auf die Dateien "a.php bis e.php". Ist das korrekt?

Gibt es evtl. noch andere Möglichkeiten, das ganze zu optimieren?

Vielen Dank im voraus für Eure Hilfe

 

[threadi]

Die robots.txt ist nur ein Vorschlag für Zugriffe durch Maschinen damit die wissen, was der Website-Betreiber wünscht und was nicht. Gerade KI Bots halten sich so gar nicht an diese Angaben.

Wenn die Hohe Auslastung deines Hostings wirklich damit zu tun hat, würde ich empfehlen eher auf Firewalls zu setzen. CloudFlare kann man vor die Website schalten - die Filtern alles raus was irgendwie merkwürdig ist und entlasten damit dein Hosting.

Allerdings ist das auch wiederum nur stochern im Trüben. Denn eine langsame Auslieferungszeit kann, neben unzureichenden Hosting-Ressourcen, auch andere Gründe haben. Möglicherweise nutzt deine Website Techniken, die schlecht programmiert sind oder nicht miteinander kompatibel sind. Es kann viele Gründe geben. Meine Empfehlung wäre eher zu schauen was an deiner Website möglicherweise träge ist. Es auf Bots zu schieben klingt sehr einfach.