User-agent: * Disallow: /w/ Crawl-delay: 5 # Source : http://www.mediawiki.org/wiki/Manual:Robots.txt # Source : http://forum.webrankinfo.com/crawl-delay-dans-fichier-robots-txt-pour-ralentir-msnbot-t115134.html User-agent: VoilaBot User-agent: Yandex User-agent: Dotbot User-agent: Spinn3r Disallow: / # Source : http://archive.brunosabot.com/voilabotattaquelessites.html