Neuer User-Agent: Googlebot-News
von Simon am 2. Dezember 2009
Google hat neben Googlebot and Googlebot-Image nun auch einen seperaten Crawler namens Googlebot-News angekündigt:
[T]he new Googlebot-News user agent can be used to specify which pages of a website should be crawled and ultimately appear in Google News.
Um Webinhalte künftig bei Google Search, nicht aber bei Google News auftauchen zu lassen, reicht folgender Eintrag in der robots.txt:
User-agent: Googlebot
Disallow:
User-agent: Googlebot-News
Disallow: /
Mehr Infos im GWC-BLog: New User Agent for News
