robots.txt - was es mit dieser ominösen Datei auf sich hat
Suchmaschinen schicken kleine Programme im Netz umher, um neue Internetseiten zu finden. Diese Suchprogramme sind unter verschiedenen Namen geläufig: crawler, spiders, robots.
Diese Programme schauen, ob eine Datei mit dem Namen robots.txt für sie bereitgehalten wird, die ihnen die Vorgehensweise vorschlägt. Darin wird meistens den Spidern erklärt, welche Dateien und Verzeichnisse nicht aufgenommen werden sollen.
Warum also sollte man solche Datei anlegen, wenn alles von den Suchmaschinen gefunden werden soll? Ganz einfach: Gibt es diese Datei nicht, wird jedes Mal, wenn ein Spider anfragt eine 404 Fehlermeldung im Log produziert.
Daher ist es praktisch, eine Basis-robots.txt im Hauptverzeichnis abzulegen mit folgendem Inhalt
# robots.txt
# Zugriff auf alle Dateien erlauben
User-agent: *
Disallow:
Diese Datei kann auch direkt über den Browser aufgerufen werden. Einfach nach dem Domainnamen das robots.txt anhängen und in die Browserzeile eingeben:
https://www.html-seminar.de/robots.txt
Bedeutung:
die ersten 2 Zeilen mit dem # als Anfang sind nur Erklärungen ohne Wirkung.
Durch den * beim User-agent ist der Zugriff durch alle Spider erwünscht.
Durch fehlende Angaben hinter dem Doppelpunkt bei Disallow ist nichts gesperrt. Hier kann es z.B. Sinn machen, interne Bereiche zu sperren.
zu beachten bei Nutzung von robots.txt
Für die vorgesehene Funktion sind folgende Punkte zu beachten:
- die Schreibung der Datei muss exakt so sein - also alles klein: "robots.txt".
- die robots.txt muss im Hauptverzeichnis abgelegt werden.
- beim Erstellen sollten Sie einen reinen Texteditor verwenden, damit nicht irgendwelche Sonderzeichen reinrutschen. Geeignete Editoren sind unter Windows das editor.exe und vi unter Linux.
- beim Übertragen auf den Webserver muss die Datei im ASCII Modus übertragen werden.
Tipp: die folgende robots.txt-Datei einfach über den Browser anzeigen und im Browser dann über "Seite speichern unter" für die eigene Website speichern.
Weiterempfehlen • Social Bookmarks • Vielen Dank
Bitte unterstützen Sie dieses Projekt
Sie können dieses Projekt in verschiedenen Formen unterstützen - wir würden uns freuen und es würde uns für weitere Inhalte motivieren :).
Spenden
Sie können uns eine Spende über PayPal zukommen lassen.
Weiterempfehlungen
Empfehlen Sie es weiter - wir freuen uns immer über Links und Facebook-Empfehlungen.
Bücher über Amazon
Bestellen Sie Bücher über folgende Links bei Amazon:
Vielen Dank für Ihre Hilfe
-
E-Books zum Kurs
von HTML-Seminar.deE-Books mit rund 930 Seiten Umfang als PDF. Alle 3 zu einem Preis.
Mehr Details
-