Leider wurde heute meine Domain vorsorglich vom Server getrennt, da der BingBot agressiv gecrawlt hat, so das der Kundenserver davon überlastet wurde.
Die hohen Seiten Besuche des BingBot waren mir schon Seit einer gewissen Zeit aufgefallen und habe Sie immer nur kurzfristig Sperren können, nun hatte mir der Support eine besser Alternative über robot.txt vorgeschlagen, ohne ganz aus der Bing suche zu verschwinden, sondern einfach den BingBot per Intervall Zeitsperre einzudämmen und um den Server zu entlasten.
User-agent: bingbot Crawl-delay: 20
Damit lässt man ein Crawling alle 20 Sekunden zu und entlastet den Server mit unnötigen dauercrawling.

|