Hier finden Sie einige der am häufigsten gestellten Fragen zum XoviBot
Beachtet der XoviBot den Inhalt meiner Datei robots.txt?
Selbstverständlich hält sich der XoviBot an den robots.txt Standard und beachtet dabei die Einträge in der Datei robots.txt. Wenn Sie den XoviBot blockieren wollen, nutzen Sie bitte folgenden Eintrag in der robots.txt:
User-agent: XoviBot
Disallow: /
Bitte teilen Sie uns auch mit, wenn Sie der Ansicht sind, das diese Anweisung von unserem Bot ignoriert wird.
Mögliche Ursachen hierfür können sein: die Datei robots.txt liegt in einem Verzeichnis außerhalb der eigentlichen Website, verschiedene Domains laufen auf ein- und demselben Server o.ä.
Wie kann ich die Crawl-Geschwindigkeit herabsetzen?
Sie können eine Crawl-Verzögerung von bis zu 20 Sekunden einrichten (höhere Werte werden dann bis zur von unserem Bot unterstützten maximalen Verzögerung abgerundet). Ergänzen Sie dazu Ihre Datei robots.txt bitte um folgenden Eintrag:
User-Agent: XoviBot
Crawl-Delay: 5
Crawl-Delay sollte eine ganze Zahl sein (diese gibt an, wie viele Sekunden Wartezeit zwischen den Anfragen liegen). Es ist zwar unwahrscheinlich, aber durchaus möglich, dass Ihre Website von mehreren unserer Bots zur gleichen Zeit gecrawlt wird. Die Einstellung einer hohen Crawl-Verzögerung sollte negative Auswirkungen auf Ihre Website minimieren. Die Crawl-Verzögerung wird auch aktiv, wenn für die User-Agent-Angabe die Platzhalter * verwendet wurden.
Haben Sie weitere Fragen? Hier unsere E-Mail-Adresse für alle Anfragen bezüglich des XoviBots: bot@xovi.net – wir versuchen, Ihnen so schnell wie möglich zu antworten.
Here are some of the frequently asked questions about XoviBot
Does XoviBot take care of my robots.txt file?
XoviBot adheres to the robots.txt standard. If you want the bot to prevent your website from being crawled then add the following to your robots.txt:
User-agent: XoviBot
Disallow: /
If you have reason to believe that XoviBot did not obey your robots.txt commands, then please let us know.
Probably reasons could be e.g. the robots.txt file is stored outside your domains root-directory, multiple domains running on the same server.
How can I slow down XoviBot?
You can slow down the bot up to 20 seconds delay between requests to your site by adding the following to your robots.txt file:
User-Agent: XoviBot
Crawl-Delay: 5
Crawl-Delay should be an integer number and it signifies the number of seconds of wait between requests. It is unlikely, but still possible your site may have been crawled from multiple XoviBots at the same time. Making high Crawl-Delay should minimise impact on your site. This Crawl-Delay parameter will also be active if it was used for * wildcard.
Do you have further questions? Here is our Email-Address for all questions about XoviBot: bot@xovi.net