|
||||||||
Sie sind hier:Suchmaschinen-Glossar auf » R » robots.txt |
||||||||
robots.txtRobots.txt ist eine Textdatei die dem Spider mitteilt bestimmte Ordner oder Dateien zu lesen. Die Datei steht im Hauptverzeichnis der Webpage. Für Webseiten die nicht gespidert werden dürfen, sollte man am besten Passwort geschützte Ordner einrichten. |
|