Matt Cutts über robots.txt-Optimierung
von Simon am 17. August 2010
Im folgenden Video erklärt Matt Cutts, warum es keine gute Idee ist, temporäre Änderungen an robots.txt-Anweisungen durchzuführen, um den Fokus des Crawlers auf bestimmte Teile der Seite zu lenken:
Zusammenfassung: Kurzweilige Änderungen an robots.txt-Dateien, die schnell wieder rückgängig gemacht werden, können negative Auswirkungen z.B. auf die Crawl-Geschwindigkeit des Googlebots haben. Um den Fokus auf einen bestimmten Teil der Webseite zu lenken, sollten stattdessen lieber prominente Links (am besten auf der Startseite) gesetzt werden, um den PageRank-Fluss nicht zu unterbrechen. Crawler-Anweisungen in robots.txt-Dateien sollten — soweit möglich — beständig bleiben.
[...] Matt Cutts über robots.txt-Optimierung – SEO.at Tags: Google Corp., Googlebot, Matt Cutts, Robots.txt, [...]