# robots.txt for http://www.beispiel.de/ # Zugriff auf alle Dateien erlauben User-agent: TMCrawler Disallow: / User-agent: VoilaBot Disallow: /branchen.php User-agent: * Disallow: Sitemap: /sitemap.php