# (c) by webservice.albicker.org User-agent:* Disallow:/bilder/ Disallow:/logos/ Disallow:/cgi-bin/ Disallow:/design/ Disallow:/css/ # Die Datei robots.txt muss im Stammverzeichnis liegen. Es gilt die Kleinschreibung, also nur "robots.txt". # User-Agent bezeichnet den Spider. Das Sternchen * gilt als Jokerzeichen und bedeutet, dass die folgenden Zeilen für alle Spider gelten. # Mit "Disallow" werden bestimmte Verzeichnisse (Ordner) für die Robots gesperrt. Pro Verzeichnis ist eine Zeile notwendig. #Alle Roboter ausschließen: # User-agent: * # Disallow: / # Alle Roboter einladen: (Eine leere Datei erfüllt den gleichen Zweck) # User-agent: * # Disallow: