rantanplan2000
Mitglied
Hallo,
ich spiele gerade mit einigen Webseiten-Tests herum und viele meckern, dass ich keine robots.txt habe.
Nun habe ich etwas geforscht und wollte eine eigene robots.txt hochladen. Doch ... habe ich es richtig verstanden?
Reicht es, eine Textdatei zu erstellen und lediglich:
einzufügen?
Diese speicher ich dann unter robots.txt ab und fertig?
Ist dass alles?
Kann ich dass dann auch mit
kombinieren, oder sollte ich den meta dann aus allen Seiten löschen? Hm ...
ich spiele gerade mit einigen Webseiten-Tests herum und viele meckern, dass ich keine robots.txt habe.
Nun habe ich etwas geforscht und wollte eine eigene robots.txt hochladen. Doch ... habe ich es richtig verstanden?
Reicht es, eine Textdatei zu erstellen und lediglich:
Code:
User-agent: *
Disallow:
Sitemap: http://example.com/sitemap.xml
einzufügen?
Diese speicher ich dann unter robots.txt ab und fertig?
Ist dass alles?
Kann ich dass dann auch mit
Code:
<meta name="robots" content="index,follow">
Zuletzt bearbeitet: