ASCII oder Binär aufladen?

Zitat

Muss die Datei "robots.txt" lediglich auf der Indexseite stehen oder sollte sie auf allen Seiten stehen?

Gefühlsmässig möchte ich da mal meinen in jede Seite einbinden.
Wenn Googlebot unterwegs ist werden schliesslich alle deine Seiten oftmals auch nur im Einzelnen gescannt, und nicht unbedingt in seiner Gesamtheit von der 'index' ausgehend

Zitat von "Peter Gedamke"

Wenn Googlebot unterwegs ist werden schliesslich alle deine Seiten oftmals auch nur im Einzelnen gescannt, und nicht unbedingt in seiner Gesamtheit von der 'index' ausgehend

afaik durchsuchen Suchmashinenbots eine Seite und alle, die mit dieser Seite verlinkt sind.

Zitat von "Arran"

Guten Tag allesamt

Ich habe mir heute morgen (sonnig und gestern wohl zu früh zu Bett gegangen) mal einen Wunsch erfüllt, und dieses Web hier durchforstet. Dabei ist mir zum Thema Robots.txt folgendes Zitat aufgefallen (Suchfunktion ergebnislos, zumindest habe ich sonst nicht die richtigen Stichworte verwendet):

Und noch eine Anschlussfrage: Muss die Datei "robots.txt" lediglich auf der Indexseite stehen oder sollte sie auf allen Seiten stehen? Gemäss meiner Statistik kommen nur ca. 60% aller Besucher via der Index-Seite, die anderen, die Suchmaschinen verwenden kommen direkt auf Seiten wie "Essen", "Schlafzimmer", etc (ich bewerbe unter anderem ein kleines Guesthouse).

Vielen Dank für Eure Tipps.

Erstmals hier mehr Infos:
http://www.html-seminar.de/robots.htm

Und zum Verständnis - es gibt eine robots.txt (siehe Link oben zur Erklärung) und es gibt auf jeder Seite in den Metatags einen Eintrag für die Suchmaschinen-Robots (siehe http://www.html-seminar.de/metatags.htm)

Die robots.txt ist eine Datei und liegt im Verzeichnis, dort steht nur, falls eine Suchmaschine bestimmte Seiten/Verzeichnisse nicht in Ihren Index aufnehmen soll.

In den Metatags (sollte auf jeder Seite stehen) gibt du der Suchmaschine an, über
<meta name="robots" content="index,follow" />
dass sie jeder Seite spidern soll und wenn möglich aufnehmen.

Also 2 Baustellen

Hoffe, das hilft weiter
cu Axel