Verzeichnis vor Webcrawler schützen

NeoAramis

Hallo liebe Forengemeinde!

Ich hätte da eine Frage.

Wie kann ich ein/mehrere Verzeichnis, -se für Webcrawler (Spider) unsichtbar machen. So dass das Verzeichnis nicht in deren Index aufgenommen wird?

Danke für Eure Hilfe!

lauras

Sollte man eigentlich mit einer einfachen robots.txt machen können:

<a class="postlink" href="http://www.bjoernsworld.de/suchmaschinen/robots-txt.html">http://www.bjoernsworld.de/suchmaschine ... s-txt.html</a>

LG
Laura

NeoAramis

Ja die hatte ich auch schon. Und das reicht wirklich?

lauras

Eigentlich sollte es reichen.
Es ist zwar kein absolutes Verbot (obs sowas gibt weiß ich gar nicht), aber die meisten robots halten sich an diese Verhaltensregeln.

NeoAramis

Dann ist ja gut, ich dachte einfach, das die robots.txt-Datei nicht reichen wird.

Jetzt mitmachen!