User-agent: Slurp
Disallow: /

#------------------------

User-agent: googlebot
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
User-agent: WebCrawler
User-agent: web Crawler
User-agent: inktomi
User-agent: slurp



Disallow: /temp/ # Die Dateien sind sehr kurzlebig
Disallow: /logfiles/ # Die ändern sich jeden Tag
Disallow: /logs/ # Die ändern sich jeden Tag
Disallow: images/ # Bilder nicht downloaden
Disallow: design/ # Bilder nicht downloaden
Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren
Disallow: /usage/ # Geschützter bereich
Disallow: .procmailrc # Maildatei