#User-agent: linkCheck # Datensatz betrifft linkCheck #Disallow: /de/prv/ # alle Seiten in de/prv/ sind gesperrt #Disallow: cgi-bin/ # /cgi-bin/ ist ebenfalls gesperrt User-agent: BadSpider # Datensatz betrifft BadSpider Disallow: / # BadSpider hat Site-Verbot User-agent: * # alle nicht namentlich genannten Spider Disallow: /shop/TreeGen/ # Verzeichnis das gesperrt ist