User-agent: *
Disallow: /interna
Disallow: /cgi-bin
Disallow: /Ww
Disallow: /aktuell/intern
Disallow: /top
Disallow: /auroville
Disallow: /intro/1996/
Disallow: /gbl/gone/

User-agent: ia_archiver # www.archive.org
Disallow: /cgi-bin

# YacyBot macht viel Unsinn, versucht u. a. URLs, die es nicht gibt, zu erraten
User-agent: yacybot 
Disallow: /