Matt Cutts über Blocken mit robots.txt
Matt Cutts beantwortet die Frage, ob man doppelte Inhalte mittels robots.txt blocken sollte:
If Google crawls 1,000 pages/day, Googlebot crawling many dupe content pages may slow down indexing of a large site. In that scenario, do you recommend blocking dupes using robots.txt or is using META ROBOTS NOINDEX,NOFOLLOW a better alternative?
Zusammenfassung: Matt sieht das Blocken von doppelten Inhalten via robots.txt nur als “last resort”-Lösung an. Besser als blocken ist eine gut durchdachte Seitenarchitektur, die duplicate content gar nicht erst entstehen lässt. — Statt das Crawlen vom Googlebot mittels robots.txt zu verbieten, vertritt Matt interessanterweise die Meinung, dass Google doppelte Inhalte auch ohne Eingreifen ganz gut erkennen kann. Das Wort “Canonical-Tag” nimmt er dabei aber gar nicht erst in dem Mund.
