Alles anzeigenHi Jav,
würde das bedeuten, dass ich gar keine Datei "robots.txt" benötige, wenn ich nur meine Domain (also auf dem Server das Hauptverzeichnis) freigebe?
Beispiel:
/ (hier befinden sich alle wichtigen Dateien, wie z.B. index.htm, etc.)
/bilder (hier sind alle Bilder, etc.)
/alte_Versionen (wie der Name schon sagt)
Was muss ich tun damit nur "/" (in meiner Sprachweise das Hauptverzeichnis) "durchstöbert" wird. Somit nicht "/bilder" und auch nicht "/alte_Versionen"
Den Rest habe ich jetzt verstanden. Danke schon jetzt für die Hilfe.
olkostbe
So, mit leichter Verspätung geht's weiter ...
Also, keine robots.txt führt zu vielen 404-Einträgen im error-log, weil ja doch ständig irgendwelche Suchmaschinen nach der robots.txt fragen. Schon deshalb würde ich die Datei anlegen, notfalls auch völlig leer.
Um nur den Zugriff auf dein Hauptverzeichnis (also der "obersten Ebene" auf deiner Domain; dort, wo die index.html oder index.php liegt) zuzulassen und den Zugriff auf Ordner im Hauptverzeichnis zu sperren, wäre die robots.txt so anzulegen:
Anzumerken bleibt: Keine Suchmaschine / Crawler / Spider muss sich an die Angaben in der robots.txt halten. Ob sie das tun, liegt allein in deren Ermessen.