# Mehrere Verzeichnisse ausschließen # Roboter Info vom 19.07.2003 20:20 fk User-agent: * Disallow: /404.html Disallow: /KontaktDanke.html Disallow: /scripts/ Disallow: /Angebote/ Disallow: /images_nav/ Disallow: /data_rest/ Disallow: /data_rest/ Disallow: /hidden/ Disallow: /webalizer/ Disallow: /stats/ ####################################################### ### LEGENDE ########################################### ####################################################### ## Alle Roboter ausschließen #User-agent: * #Disallow: / ## Alle Roboter einladen ## Eine leere Datei erfüllt den gleichen Zweck #User-agent: * #Disallow: ## Alle Roboter von einer Datei fernhalten ##User-agent: * #Disallow: /verbotenr.html ## Alle Roboter von bestimmten Verzeichnissen fernhalten #User-agent: * #Disallow: /unwichtig/ #Disallow: /cgi-local/ ## Einen bestimmten Robot ausschließen #User-agent: Sidewinder #Disallow: / ## Einen bestimmten Robot einladen #User-agent: WebCrawler #Disallow: