# robots.txt for http://www. # Zugriff auf alle Dateien erlauben # User-agent: * # gültig für alle roboter User-agent: webcopy # nur diesen robots speren Disallow: /cgi-bin/ # cgi-bin nicht indexieren Disallow: /admin # admin... nicht indexieren # Ganze Site für alle Robots sperren # User-agent: * # Disallow: / # Ganze Site freigeben # User-agent: * # Disallow: