robots.txt

Hallo zusammen, ich erlebe es des öfteren, dass meine Webseite gar nicht oder erst nach mehreren Sekunden aufrufbar ist. Im letzteren Fall erfolgt der Aufbau der einzelnen Seiten (sehr) langsam. Der Support meines Anbieters teilte mir mit, dass es an crwalern und KI bots liegen würde. Eine gut...