mj12bot - ist das Müll oder kann das weg?

[Alex55]

Habe andauernd den mj12bot auf meiner Seite. Der ist fast rund um die Uhr da. Öfter als der Googlebot. Kann der weg?

 

[SpiceLab]

mj12bot - ist das Müll oder kann das weg?

Seltsame Fragestellung. Oder behälst Du normalerweise, was Müll ist?

Ein gutes Standing hat der Bot nicht (siehe Links unten), und ich hab ihm auch schon vor Jahren neben weiteren Störenfrieden per [F] (Forbidden) den Zugang verwehrt:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Jakarta.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Java.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot.*
RewriteRule ^(.*)$ - [F]

1. http://de.wetena.com/bot/mj12bot
2. http://jensfiedler.de/2013/07/24/majestic-12-bot-mj12bot/
3. https://blog.1awww.com/2015/01/13/mj12bot-majestic-bot-hilfe-fuer-administratoren/
4. ...

 

[Alex55]

Ok, danke dann kommt der weg. Stört nämlich mit dem Spam meiner Analyse. Manchmal kann es schon vorkommen, da behalt ich Müll.

 

[SpiceLab]

Manchmal kann es schon vorkommen, da behalt ich Müll.

Autsch, https://de.wikipedia.org/wiki/Messie-Syndrom

 

[threadi]

Sehe ich genau wie Spicelab. Der Bot ist seit Jahren unterwegs und teilweise recht nervig. Einen richtigen Sinn des Ganzen konnt ich bis heute nicht erkennen und sperre ihn daher ähnlich aus. Alternativ zu o.g. Regel kann man auch versuchen dessen IP-Adressen per iptables zu sperren (wenn man diese ab und zu aktualisiert).