Google-Infos zu Crawling & Indexierung
von Simon am 27. November 2010
Wie Barry Schwartz bei Search Engine Land berichtet, hat Google im Webmaster Central Blog mehrere Dokumente zu Indexierung, Crawling und robots.txt veröffentlicht:
- Getting Started
- Robots.txt specification
- Robots meta tag and X-Robots-Tag specification
- Google’s crawlers
- References
Webmaster Central Blog: Controlling crawling and indexing now documented on code.google.com
