User-agent: *
Disallow: /interna
Disallow: /cgi-bin
Disallow: /Ww
Disallow: /aktuell/intern
Disallow: /top
Disallow: /auroville
Disallow: /intro/1996/
Disallow: /gbl/gone/
Disallow: /_behaviour/

User-agent: ia_archiver # www.archive.org
Disallow: /cgi-bin

# YacyBot macht viel Unsinn, versucht u. a. URLs, die es nicht gibt, zu erraten
User-agent: yacybot 
Disallow: /

# Daum kann Unicode-Notationen nicht richtig entschlüsseln
# http://ws.daum.net/aboutWebSearch.html
User-agent: daumoa
Disallow: /